Appendix A
Results of the Core Tracks
Ad-hoc Bilingual and Monolingual Tasks
Prepared by:
Giorgio Maria Di Nunzio and Nicola Ferro
{dinunzio, ferro}@dei.unipd.it
Department of Information Engineering
University of Padua
Italy
1
2
Introduction
3
4
Results for CLEF 2007 Ad-hoc Track
The following pages contain the results and graphs for all the experiments that have been officially submitted to the CLEF 2007
campaign for the Ad-hoc track.
This document is divided in three main parts:
1. List of submitted experiments
2. Track overview results and graphs
3. Individual experiment results and graphs
1. List of Submitted Experiments
This section gives a listing of all experiments and their characteristics:
Participant: name of the participant who submitted the experiment.
Country: country of the participant.
Expeirment DOI: Digital Object Identifier (DOI) for each experiment.
Task: track/task to which the experiment belongs.
Lang.: language of the topics used to create the experiment (ISO identifiers for language).
Fields: identifies the parts of the topics used to create the experiment (T = title, D = Description, N = Narrative).
Constr.: identifies how the query has been constructed from topic fields (manual/automatic).
Pool: specifies if experiment was used for relevance assessment pooling.
2. Track Overview Results and Graphs
For each track/task graphs and tables are shown in order to compare the experiments.
The graphs and tables contain the following information:
- Best experiments of at most top five participants
- Interpolated recall vs precision averages plot
- Average precision comparison to median plot
- All experiments
- Average precision box plot
- Average precision Tukey t-test plot
- Best experiments of at most top five participants
- Document cutoff levels (DCL) vs precision at DCL plot
- R-Precision comparison to median plot
- All experiments
- R-Precision box plot
- R-Precision Tukey t-test plot
- A table with descriptive statistics of performance figures for each topic
- Min: The minimum of a set of observations
- 1st Q: The first quartile of a set of observations
- 2nd Q: The second quartile (median) of a set of observations
- 3rd Q: The third quartile of a set of observations
- Max: The maximum of a set of observations
- Mean: The arithmetic mean of a set of observations
- Std: The standard deviation of a set of observations
- IQR: Interquartile range, the difference between the 3rd and 1st quartiles
- Range: The difference between the maximum and the minimum of a set of observations
- C.Var: Coefficient of variation, the spread of a set of data as a proportion of its mean
- Geom.: The geometric mean of a set of observations
- Harm.: The harmonic mean of a set of observations
- MAO: The mean of absolute deviation of the values in a set of observations
- LOT: The lower threshold below which values of a set of observations are considered outliers
- UOT: The upper threshold below which values of a set of observations are considered outliers
- MNO: Mean without outliers, the arithmetic mean of a set of observations without outliers
- SNO: Std without outliers, the standard deviation a set of observations without outliers
5
3. Individual Experiment Results and Graphs
This section provides the individual results for each official experiment. For each experiment the following tables and graphs are
shown:
- Overall statistics and information
- Interpolated recall vs precision averages plot
- Average precision statistics and box plot
- Average precision comparison to median plot
- Document cutoff levels vs precision at DCL plot
- R-Precision statistics and box plot
- R-Precision comparison to median plot
Topics are identified with DOIs, as well as the experiments. The prefix for the DOI of a topic is 10.2452. The following example
shows how to build the DOI for a topic given its number: for topic 200-AH, the corresponding DOI is 10.2452/200-AH
6
List of Submitted Experiments
7
8
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
alicante Spain 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC no
CLEF2007.ALICANTE.IRNBUEXP2
alicante Spain 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TDN AUTOMATIC yes
CLEF2007.ALICANTE.IRNBUEXP2N
alicante Spain 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC yes
CLEF2007.ALICANTE.IRNBUEXP3
alicante Spain 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC no
CLEF2007.ALICANTE.IRNBUNEXP
daedalus Spain 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC yes
CLEF2007.DAEDALUS.BGFSBG2S
jhu-apl United States 10.2415/AH-MONO-BG-CLEF2007.JHU- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC no
APL.APLMOBGTD4
jhu-apl United States 10.2415/AH-MONO-BG-CLEF2007.JHU- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC yes
APL.APLMOBGTD5
jhu-apl United States 10.2415/AH-MONO-BG-CLEF2007.JHU- AH-MONO-BG-CLEF2007 bg TDN AUTOMATIC yes
APL.APLMOBGTDN4
opentext Canada 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg T AUTOMATIC yes
CLEF2007.OPENTEXT.OTBG07T
opentext Canada 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC yes
CLEF2007.OPENTEXT.OTBG07TD
opentext Canada 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC no
CLEF2007.OPENTEXT.OTBG07TDE
opentext Canada 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TDN AUTOMATIC yes
CLEF2007.OPENTEXT.OTBG07TDNZ
unine Switzerland 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC yes
CLEF2007.UNINE.UNINEBG1
unine Switzerland 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC yes
CLEF2007.UNINE.UNINEBG2
unine Switzerland 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TD AUTOMATIC no
CLEF2007.UNINE.UNINEBG3
unine Switzerland 10.2415/AH-MONO-BG- AH-MONO-BG-CLEF2007 bg TDN AUTOMATIC yes
CLEF2007.UNINE.UNINEBG4
alicante Spain 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
CLEF2007.ALICANTE.IRNCZEXP2
alicante Spain 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC yes
CLEF2007.ALICANTE.IRNCZEXP2N
alicante Spain 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
CLEF2007.ALICANTE.IRNCZEXP3
alicante Spain 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
CLEF2007.ALICANTE.IRNCZNEXP
bohemia Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC yes
Republic CLEF2007.BOHEMIA.UWB_TDN_L_BM25
bohemia Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC no
Republic CLEF2007.BOHEMIA.UWB_TDN_W_BM25
bohemia Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
Republic CLEF2007.BOHEMIA.UWB_TD_L_BM25
bohemia Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
Republic CLEF2007.BOHEMIA.UWB_TD_W_RAW_FB
daedalus Spain 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
CLEF2007.DAEDALUS.CSFSCS2S
isi India 10.2415/AH-MONO-CS-CLEF2007.ISI.CZTD AH-MONO-CS-CLEF2007 hu TD AUTOMATIC yes
isi India 10.2415/AH-MONO-CS-CLEF2007.ISI.ISICL AH-MONO-CS-CLEF2007 am TDN AUTOMATIC yes
isi India 10.2415/AH-MONO-CS-CLEF2007.ISI.ISICZNS AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC no
jhu-apl United States 10.2415/AH-MONO-CS-CLEF2007.JHU- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
APL.APLMOCSTD4
jhu-apl United States 10.2415/AH-MONO-CS-CLEF2007.JHU- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
APL.APLMOCSTD5
jhu-apl United States 10.2415/AH-MONO-CS-CLEF2007.JHU- AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC yes
APL.APLMOCSTDN4
opentext Canada 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs T AUTOMATIC yes
CLEF2007.OPENTEXT.OTCS07T
opentext Canada 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
CLEF2007.OPENTEXT.OTCS07TD
opentext Canada 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
CLEF2007.OPENTEXT.OTCS07TDE
opentext Canada 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC yes
CLEF2007.OPENTEXT.OTCS07TDNZ
prague Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
Republic CLEF2007.PRAGUE.PRAGUE01
prague Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN MANUAL yes
Republic CLEF2007.PRAGUE.PRAGUE02
prague Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN MANUAL yes
Republic CLEF2007.PRAGUE.PRAGUE03
prague Czech 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
Republic CLEF2007.PRAGUE.PRAGUE04
unine Switzerland 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC yes
CLEF2007.UNINE.UNINECZ1
9
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
unine Switzerland 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
CLEF2007.UNINE.UNINECZ2
unine Switzerland 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TD AUTOMATIC no
CLEF2007.UNINE.UNINECZ3
unine Switzerland 10.2415/AH-MONO-CS- AH-MONO-CS-CLEF2007 cs TDN AUTOMATIC yes
CLEF2007.UNINE.UNINECZ4
alicante Spain 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC no
CLEF2007.ALICANTE.IRNHUEXP2
alicante Spain 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TDN AUTOMATIC no
CLEF2007.ALICANTE.IRNHUEXP2N
alicante Spain 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
CLEF2007.ALICANTE.IRNHUEXP3
alicante Spain 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC no
CLEF2007.ALICANTE.IRNHUNEXP
daedalus Spain 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
CLEF2007.DAEDALUS.HUFSHU2S
isi India 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TDN AUTOMATIC no
CLEF2007.ISI.ISIDWLDHSTEMGZ
isi India 10.2415/AH-MONO-HU-CLEF2007.ISI.YASSHUN AH-MONO-HU-CLEF2007 hu TDN AUTOMATIC yes
isi India 10.2415/AH-MONO-HU-CLEF2007.ISI.YASSTDHUN AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
jhu-apl United States 10.2415/AH-MONO-HU-CLEF2007.JHU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC no
APL.APLMOHUTD4
jhu-apl United States 10.2415/AH-MONO-HU-CLEF2007.JHU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
APL.APLMOHUTD5
jhu-apl United States 10.2415/AH-MONO-HU-CLEF2007.JHU- AH-MONO-HU-CLEF2007 hu TDN AUTOMATIC yes
APL.APLMOHUTDN4
opentext Canada 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu T AUTOMATIC yes
CLEF2007.OPENTEXT.OTHU07T
opentext Canada 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
CLEF2007.OPENTEXT.OTHU07TD
opentext Canada 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC no
CLEF2007.OPENTEXT.OTHU07TDE
opentext Canada 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TDN AUTOMATIC yes
CLEF2007.OPENTEXT.OTHU07TDNZ
unine Switzerland 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
CLEF2007.UNINE.UNINEHU1
unine Switzerland 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC yes
CLEF2007.UNINE.UNINEHU2
unine Switzerland 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TD AUTOMATIC no
CLEF2007.UNINE.UNINEHU3
unine Switzerland 10.2415/AH-MONO-HU- AH-MONO-HU-CLEF2007 hu TDN AUTOMATIC yes
CLEF2007.UNINE.UNINEHU4
bombay-ltrc India 10.2415/AH-MONO-EN-CLEF2007.BOMBAY- AH-MONO-EN-CLEF2007 en T AUTOMATIC yes
LTRC.IITB_MONO_TITLE
bombay-ltrc India 10.2415/AH-MONO-EN-CLEF2007.BOMBAY- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
LTRC.IITB_MONO_TITLE_DESC
budapest-acad Hungary 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST- AH-MONO-EN-CLEF2007 en T AUTOMATIC yes
ACAD.MONOEN1
budapest-acad Hungary 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST- AH-MONO-EN-CLEF2007 en T AUTOMATIC no
ACAD.MONOEN2
budapest-acad Hungary 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST- AH-MONO-EN-CLEF2007 en T AUTOMATIC no
ACAD.MONOEN3
budapest-acad Hungary 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST- AH-MONO-EN-CLEF2007 en T AUTOMATIC no
ACAD.MONOEN4
budapest-acad Hungary 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST- AH-MONO-EN-CLEF2007 hu T AUTOMATIC no
ACAD.MONOEN5
budapest-acad Hungary 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST- AH-MONO-EN-CLEF2007 en T AUTOMATIC no
ACAD.MONOEN6
depok Indonesia 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en D AUTOMATIC no
CLEF2007.DEPOK.UIQDMONO
depok Indonesia 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC yes
CLEF2007.DEPOK.UIQTDMONO
depok Indonesia 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en T AUTOMATIC no
CLEF2007.DEPOK.UIQTMONO
hyderabad India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
CLEF2007.HYDERABAD.ENGMONO
hyderabad India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC no
CLEF2007.HYDERABAD.ENTDN_OMENG07
hyderabad India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC yes
CLEF2007.HYDERABAD.ENTD_OMENG07
hyderabad India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC no
CLEF2007.HYDERABAD.OMENG07
hyderabad India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC no
CLEF2007.HYDERABAD.OMENG07E
jadavpur India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC yes
CLEF2007.JADAVPUR.AHMONOENR1
jhu-apl United States 10.2415/AH-MONO-EN-CLEF2007.JHU- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
APL.APLMOENTD4
10
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
jhu-apl United States 10.2415/AH-MONO-EN-CLEF2007.JHU- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
APL.APLMOENTD5
jhu-apl United States 10.2415/AH-MONO-EN-CLEF2007.JHU- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC yes
APL.APLMOENTDN4
kharagpur India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en T AUTOMATIC yes
CLEF2007.KHARAGPUR.ENGLISHTITLE
kharagpur India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
CLEF2007.KHARAGPUR.ENGLISHTITLEDESC
kharagpur India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC no
CLEF2007.KHARAGPUR.ENGLISHTITLEDESCNARR
msindia India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC no
CLEF2007.MSINDIA.2007_LM_ALL_MONO_1000_PO
SSCORES
msindia India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC yes
CLEF2007.MSINDIA.2007_RBLM_ALL_MONO_1000_
POSSCORES
msindia India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
CLEF2007.MSINDIA.LM_ALL_MONO_TD_1000_POSS
CORES
msindia India 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
CLEF2007.MSINDIA.RBLM_ALL_MONO_TD_1000_PO
SSCORES
nottingham United 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en T AUTOMATIC yes
Kingdom CLEF2007.NOTTINGHAM.MONOT
nottingham United 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.MONOTD
stockholm Sweden 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TDN AUTOMATIC no
CLEF2007.STOCKHOLM.DSV_ENG_MONO_LONG
stockholm Sweden 10.2415/AH-MONO-EN- AH-MONO-EN-CLEF2007 en TD AUTOMATIC yes
CLEF2007.STOCKHOLM.DSV_ENG_MONO_RUN0
jhu-apl United States 10.2415/AH-BILI-X2BG-CLEF2007.JHU- AH-BILI-X2BG-CLEF2007 en TD AUTOMATIC yes
APL.APLBIENBGTD4
jhu-apl United States 10.2415/AH-BILI-X2BG-CLEF2007.JHU- AH-BILI-X2BG-CLEF2007 en TD AUTOMATIC yes
APL.APLBIENBGTD5
jhu-apl United States 10.2415/AH-BILI-X2CS-CLEF2007.JHU- AH-BILI-X2CS-CLEF2007 en TD AUTOMATIC yes
APL.APLBIENCSTD4
jhu-apl United States 10.2415/AH-BILI-X2CS-CLEF2007.JHU- AH-BILI-X2CS-CLEF2007 en TD AUTOMATIC yes
APL.APLBIENCSTD5
bombay-ltrc India 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY- AH-BILI-X2EN-CLEF2007 hi TD AUTOMATIC no
LTRC.IITB_HINDI_TITLEDESC_DICE
bombay-ltrc India 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY- AH-BILI-X2EN-CLEF2007 hi TD AUTOMATIC no
LTRC.IITB_HINDI_TITLEDESC_PMI
bombay-ltrc India 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY- AH-BILI-X2EN-CLEF2007 hi T AUTOMATIC no
LTRC.IITB_HINDI_TITLE_DICE
bombay-ltrc India 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY- AH-BILI-X2EN-CLEF2007 hi T AUTOMATIC no
LTRC.IITB_HINDI_TITLE_PMI
bombay-ltrc India 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY- AH-BILI-X2EN-CLEF2007 mr T AUTOMATIC no
LTRC.IITB_MAR_TITLE_DICE
bombay-ltrc India 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY- AH-BILI-X2EN-CLEF2007 mr T AUTOMATIC yes
LTRC.IITB_MAR_TITLE_PMI
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_1
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_2
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_3
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_4
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_5
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_6
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC yes
ACAD.BILING_WIKI1
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_WIKI2
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_WIKI3
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_WIKI4
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_WIKI5
budapest-acad Hungary 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST- AH-BILI-X2EN-CLEF2007 hu TD AUTOMATIC no
ACAD.BILING_WIKI6
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDDESYNFB10D10T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDDESYNFB10D5T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDDESYNFB5D10T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDENGFB5D5T10D19T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDENGPSEUDOTRANS20D14T
11
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYN
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYNF
B10D10T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYNF
B5D10T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDTOGGLE
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
CLEF2007.DEPOK.UIQTDTOGGLEFB10D10T
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id T AUTOMATIC no
CLEF2007.DEPOK.UIQTTOGGLE
depok Indonesia 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 id T AUTOMATIC yes
CLEF2007.DEPOK.UIQTTOGGLEFB10D10T
hyderabad India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TD AUTOMATIC no
CLEF2007.HYDERABAD.HITD
hyderabad India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 om TDN AUTOMATIC no
CLEF2007.HYDERABAD.NOST_OMTDN07
hyderabad India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 om T AUTOMATIC no
CLEF2007.HYDERABAD.OMT07
hyderabad India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 om TD AUTOMATIC yes
CLEF2007.HYDERABAD.OMTD07
hyderabad India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 om TDN AUTOMATIC no
CLEF2007.HYDERABAD.OMTDN07
hyderabad India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 te TD AUTOMATIC no
CLEF2007.HYDERABAD.TETD
jadavpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 bn TDN AUTOMATIC no
CLEF2007.JADAVPUR.AHBILIBN2ENR1
jadavpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TDN AUTOMATIC no
CLEF2007.JADAVPUR.AHBILIHI2ENR1
jadavpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 te TD MANUAL yes
CLEF2007.JADAVPUR.AHBILITE2ENR1
jhu-apl United States 10.2415/AH-BILI-X2EN-CLEF2007.JHU- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC yes
APL.APLBIIDENTD4
jhu-apl United States 10.2415/AH-BILI-X2EN-CLEF2007.JHU- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
APL.APLBIIDENTD5
jhu-apl United States 10.2415/AH-BILI-X2EN-CLEF2007.JHU- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
APL.APLBIIDENTDS
jhu-apl United States 10.2415/AH-BILI-X2EN-CLEF2007.JHU- AH-BILI-X2EN-CLEF2007 id TD AUTOMATIC no
APL.APLBIIDENTDW
kharagpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 bn T AUTOMATIC yes
CLEF2007.KHARAGPUR.BENGALITITLE
kharagpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 bn TD AUTOMATIC no
CLEF2007.KHARAGPUR.BENGALITITLEDESC
kharagpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 bn TDN AUTOMATIC no
CLEF2007.KHARAGPUR.BENGALITITLEDESCNARR
kharagpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi T AUTOMATIC no
CLEF2007.KHARAGPUR.HINDITITLE
kharagpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TD AUTOMATIC no
CLEF2007.KHARAGPUR.HINDITITLEDESC
kharagpur India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TDN AUTOMATIC no
CLEF2007.KHARAGPUR.HINDITITLEDESCNARR
msindia India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TDN AUTOMATIC yes
CLEF2007.MSINDIA.2007_LM_ALL_CROSS_1000_P
OSSCORES
msindia India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TDN AUTOMATIC no
CLEF2007.MSINDIA.2007_RBLM_ALL_CROSS_1000
_POSSCORES
msindia India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TD AUTOMATIC no
CLEF2007.MSINDIA.LM_ALL_CROSS_TD_1000_POS
SCORES
msindia India 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 hi TD AUTOMATIC no
CLEF2007.MSINDIA.RBLM_ALL_CROSS_TD_1000_P
OSSCORES
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh T AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.ALLTRANST
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.ALLTRANSTD
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh T AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.COOT
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.COOTD
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh T AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAUWOT
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAUWOTD
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh T AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAUWT
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAUWTD
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh T AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAWOT
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAWOTD
12
Participant Country Experiment DOI Task Lang. Fields Constr. Pool
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh T AUTOMATIC yes
Kingdom CLEF2007.NOTTINGHAM.GRAWT
nottingham United 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 zh TD AUTOMATIC no
Kingdom CLEF2007.NOTTINGHAM.GRAWTD
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TDN AUTOMATIC yes
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN1
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TDN AUTOMATIC no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN2
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TD AUTOMATIC no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN3
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TD AUTOMATIC no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN4
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TDN AUTOMATIC no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN5
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TDN AUTOMATIC no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN6
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TDN MANUAL no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN7
stockholm Sweden 10.2415/AH-BILI-X2EN- AH-BILI-X2EN-CLEF2007 am TDN MANUAL no
CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN8
jhu-apl United States 10.2415/AH-BILI-X2HU-CLEF2007.JHU- AH-BILI-X2HU-CLEF2007 en TD AUTOMATIC yes
APL.APLBIENHUTD4
jhu-apl United States 10.2415/AH-BILI-X2HU-CLEF2007.JHU- AH-BILI-X2HU-CLEF2007 en TD AUTOMATIC yes
APL.APLBIENHUTD5
13
Track Overview Results and Graphs
14
15
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Ad−Hoc Monolingual Bulgarian Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
unine [Experiment UNINEBG4; MAP 44.22%; Pooled]
jhu−apl [Experiment APLMOBGTD4; MAP 36.57%; Not Pooled]
90% opentext [Experiment OTBG07TDE; MAP 35.02%; Not Pooled]
alicante [Experiment IRNBUEXP2N; MAP 29.81%; Pooled]
daedalus [Experiment BGFSBG2S; MAP 27.19%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
unine [Experiment UNINEBG4; MAP 44.22%; Pooled]
jhu−apl [Experiment APLMOBGTD4; MAP 36.57%; Not Pooled]
opentext [Experiment OTBG07TDE; MAP 35.02%; Not Pooled]
0.8
alicante [Experiment IRNBUEXP2N; MAP 29.81%; Pooled]
daedalus [Experiment BGFSBG2S; MAP 27.19%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Monolingual Bulgarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
unine [Experiment UNINEBG4; MAP 44.22%; Pooled]
jhu−apl [Experiment APLMOBGTD4; MAP 36.57%; Not Pooled]
opentext [Experiment OTBG07TDE; MAP 35.02%; Not Pooled]
0.8
alicante [Experiment IRNBUEXP2N; MAP 29.81%; Pooled]
daedalus [Experiment BGFSBG2S; MAP 27.19%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
16
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Ad−Hoc Monolingual Bulgarian Task − Box Plot of the Topics
unine [Experiment UNINEBG4; MAP 44.22%; Pooled]
unine [Experiment UNINEBG1; MAP 41.28%; Pooled]
unine [Experiment UNINEBG2; MAP 41.08%; Pooled]
unine [Experiment UNINEBG3; MAP 39.99%; Not Pooled]
jhu−apl [Experiment APLMOBGTD4; MAP 36.57%; Not Pooled]
opentext [Experiment OTBG07TDE; MAP 35.02%; Not Pooled]
jhu−apl [Experiment APLMOBGTDN4; MAP 34.93%; Pooled]
jhu−apl [Experiment APLMOBGTD5; MAP 34.01%; Pooled]
Experiments
opentext [Experiment OTBG07TD; MAP 33.13%; Pooled]
alicante [Experiment IRNBUEXP2N; MAP 29.81%; Pooled]
opentext [Experiment OTBG07T; MAP 29.48%; Pooled]
daedalus [Experiment BGFSBG2S; MAP 27.19%; Pooled]
alicante [Experiment IRNBUEXP3; MAP 26.35%; Pooled]
alicante [Experiment IRNBUEXP2; MAP 26.05%; Not Pooled]
opentext [Experiment OTBG07TDNZ; MAP 25.27%; Pooled]
alicante [Experiment IRNBUNEXP; MAP 21.19%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
17
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
10.2455/TUKEY_T_TEST.9633F4C12FC97855A347B6AF7DD9B7A5
Ad−Hoc Monolingual Bulgarian Task − Tukey T test with "top group" highlighted
UNINEBG4
UNINEBG1
UNINEBG2
UNINEBG3
APLMOBGTD4
OTBG07TDE
APLMOBGTDN4
Experiments
APLMOBGTD5
OTBG07TD
OTBG07T
IRNBUEXP2N
BGFSBG2S
OTBG07TDNZ
IRNBUEXP3
IRNBUEXP2
IRNBUNEXP
0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75 0.8
arcsin(sqrt(Average Precsion))
18
19
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Ad−Hoc Monolingual Bulgarian Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
unine [Experiment UNINEBG4; R−Prec 40.54%; Pooled]
jhu−apl [Experiment APLMOBGTD4; R−Prec 35.74%; Not Pooled]
90% opentext [Experiment OTBG07TDE; R−Prec 34.02%; Not Pooled]
alicante [Experiment IRNBUEXP2N; R−Prec 29.74%; Pooled]
daedalus [Experiment BGFSBG2S; R−Prec 27.84%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
unine [Experiment UNINEBG4; R−Prec 40.54%; Pooled]
jhu−apl [Experiment APLMOBGTD4; R−Prec 35.74%; Not Pooled]
opentext [Experiment OTBG07TDE; R−Prec 34.02%; Not Pooled]
0.8
alicante [Experiment IRNBUEXP2N; R−Prec 29.74%; Pooled]
daedalus [Experiment BGFSBG2S; R−Prec 27.84%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Monolingual Bulgarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
unine [Experiment UNINEBG4; R−Prec 40.54%; Pooled]
jhu−apl [Experiment APLMOBGTD4; R−Prec 35.74%; Not Pooled]
opentext [Experiment OTBG07TDE; R−Prec 34.02%; Not Pooled]
0.8
alicante [Experiment IRNBUEXP2N; R−Prec 29.74%; Pooled]
daedalus [Experiment BGFSBG2S; R−Prec 27.84%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
20
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Ad−Hoc Monolingual Bulgarian Task − Box Plot of the Topics
unine [Experiment UNINEBG4; R−Prec 40.54%; Pooled]
unine [Experiment UNINEBG2; R−Prec 39.23%; Pooled]
unine [Experiment UNINEBG3; R−Prec 39.14%; Not Pooled]
unine [Experiment UNINEBG1; R−Prec 38.84%; Pooled]
jhu−apl [Experiment APLMOBGTD4; R−Prec 35.74%; Not Pooled]
opentext [Experiment OTBG07TD; R−Prec 35.08%; Pooled]
opentext [Experiment OTBG07TDE; R−Prec 34.02%; Not Pooled]
jhu−apl [Experiment APLMOBGTDN4; R−Prec 33.82%; Pooled]
Experiments
jhu−apl [Experiment APLMOBGTD5; R−Prec 32.42%; Pooled]
opentext [Experiment OTBG07T; R−Prec 30.89%; Pooled]
alicante [Experiment IRNBUEXP2N; R−Prec 29.74%; Pooled]
daedalus [Experiment BGFSBG2S; R−Prec 27.84%; Pooled]
alicante [Experiment IRNBUEXP2; R−Prec 27.23%; Not Pooled]
opentext [Experiment OTBG07TDNZ; R−Prec 27.01%; Pooled]
alicante [Experiment IRNBUEXP3; R−Prec 26.50%; Pooled]
alicante [Experiment IRNBUNEXP; R−Prec 24.26%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
21
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Ad−Hoc Monolingual Bulgarian Task − Tukey T test with "top group" highlighted
UNINEBG4
UNINEBG1
UNINEBG3
UNINEBG2
OTBG07TD
APLMOBGTD4
OTBG07TDE
Experiments
APLMOBGTDN4
APLMOBGTD5
OTBG07T
OTBG07TDNZ
IRNBUEXP2N
BGFSBG2S
IRNBUEXP2
IRNBUEXP3
IRNBUNEXP
0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75
arcsin(sqrt(R−Precision))
22
23
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00
402-AH 18.00 24.00 26.00 27.00 29.00 25.06 3.34 3.00 11.00 0.13 24.83 24.58 2.55 20.00 29.00 26.00 2.29
403-AH 5.00 17.00 26.50 28.50 29.00 22.19 8.53 11.50 24.00 0.38 19.76 16.38 6.99 5.00 29.00 22.19 8.53
404-AH 5.00 6.50 8.50 9.00 9.00 7.69 1.54 2.50 4.00 0.20 7.53 7.35 1.35 5.00 9.00 7.69 1.54
405-AH 6.00 6.00 6.00 6.00 6.00 6.00 0.00 0.00 0.00 0.00 6.00 6.00 0.00 6.00 6.00 6.00 0.00
406-AH 5.00 8.00 11.00 11.00 11.00 9.62 2.28 3.00 6.00 0.24 9.30 8.90 1.89 5.00 11.00 9.62 2.28
407-AH 2.00 2.50 3.00 3.00 3.00 2.75 0.45 0.50 1.00 0.16 2.71 2.67 0.38 2.00 3.00 2.75 0.45
408-AH 35.00 40.00 40.00 40.00 40.00 39.62 1.26 0.00 5.00 0.03 39.60 39.58 0.66 40.00 40.00 40.00 0.00
409-AH 8.00 8.00 9.00 9.00 9.00 8.69 0.48 1.00 1.00 0.06 8.67 8.66 0.43 8.00 9.00 8.69 0.48
410-AH 10.00 12.00 12.00 12.00 12.00 11.88 0.50 0.00 2.00 0.04 11.86 11.85 0.23 12.00 12.00 12.00 0.00
411-AH 2.00 5.00 5.00 5.00 5.00 4.62 0.89 0.00 3.00 0.19 4.51 4.34 0.61 5.00 5.00 5.00 0.00
412-AH 1.00 6.00 8.50 9.00 10.00 7.25 3.07 3.00 9.00 0.42 6.04 4.10 2.41 3.00 10.00 8.14 1.99
413-AH 8.00 11.00 11.00 11.00 11.00 10.81 0.75 0.00 3.00 0.07 10.78 10.75 0.35 11.00 11.00 11.00 0.00
414-AH 7.00 8.00 18.50 20.00 20.00 14.62 5.92 12.00 13.00 0.40 13.31 11.96 5.55 7.00 20.00 14.62 5.92
415-AH 19.00 40.00 45.00 46.50 47.00 40.69 9.53 6.50 28.00 0.23 39.29 37.50 7.47 36.00 47.00 44.92 2.90
416-AH 53.00 54.00 54.00 54.00 54.00 53.88 0.34 0.00 1.00 0.01 53.87 53.87 0.22 54.00 54.00 54.00 0.00
417-AH 12.00 12.00 18.00 18.00 18.00 15.81 2.83 6.00 6.00 0.18 15.56 15.28 2.61 12.00 18.00 15.81 2.83
418-AH 61.00 61.00 61.00 61.00 61.00 61.00 0.00 0.00 0.00 0.00 61.00 61.00 0.00 61.00 61.00 61.00 0.00
419-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
420-AH 26.00 29.00 30.50 31.00 31.00 29.88 1.45 2.00 5.00 0.05 29.84 29.80 1.16 26.00 31.00 29.88 1.45
421-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00
422-AH 3.00 4.00 4.00 5.00 5.00 4.19 0.75 1.00 2.00 0.18 4.12 4.05 0.61 3.00 5.00 4.19 0.75
423-AH 15.00 16.00 16.00 16.00 16.00 15.81 0.40 0.00 1.00 0.03 15.81 15.80 0.30 16.00 16.00 16.00 0.00
424-AH 5.00 6.00 6.00 6.00 6.00 5.94 0.25 0.00 1.00 0.04 5.93 5.93 0.12 6.00 6.00 6.00 0.00
425-AH 10.00 13.00 16.50 17.00 17.00 15.12 2.42 4.00 7.00 0.16 14.92 14.70 2.09 10.00 17.00 15.12 2.42
426-AH 15.00 20.00 21.00 23.00 24.00 21.12 2.13 3.00 9.00 0.10 21.01 20.89 1.52 20.00 24.00 21.53 1.41
427-AH 14.00 14.00 14.00 14.00 14.00 14.00 0.00 0.00 0.00 0.00 14.00 14.00 0.00 14.00 14.00 14.00 0.00
428-AH 5.00 12.50 17.00 18.00 18.00 14.75 4.37 5.50 13.00 0.30 13.90 12.75 3.56 5.00 18.00 14.75 4.37
429-AH 8.00 10.00 15.00 18.00 21.00 14.44 4.62 8.00 13.00 0.32 13.74 13.05 3.63 8.00 21.00 14.44 4.62
430-AH 14.00 21.50 27.00 28.00 29.00 24.38 5.24 6.50 15.00 0.21 23.73 22.97 4.28 14.00 29.00 24.38 5.24
431-AH 15.00 23.00 26.00 27.00 27.00 24.38 3.74 4.00 12.00 0.15 24.05 23.67 2.78 17.00 27.00 25.00 2.88
432-AH 4.00 7.00 7.00 7.00 7.00 6.69 0.87 0.00 3.00 0.13 6.62 6.53 0.55 7.00 7.00 7.00 0.00
433-AH 10.00 12.00 12.00 12.00 12.00 11.88 0.50 0.00 2.00 0.04 11.86 11.85 0.23 12.00 12.00 12.00 0.00
434-AH 0.00 34.00 37.00 37.00 37.00 33.56 9.14 3.00 37.00 0.27 13.92 0.00 4.59 32.00 37.00 35.80 1.90
435-AH 8.00 10.50 11.00 12.00 12.00 10.81 1.38 1.50 4.00 0.13 10.72 10.62 1.03 9.00 12.00 11.21 0.89
436-AH 4.00 13.00 39.50 40.00 40.00 28.56 15.41 27.00 36.00 0.54 22.03 14.29 14.05 4.00 40.00 28.56 15.41
437-AH 12.00 16.00 17.00 17.00 17.00 16.19 1.60 1.00 5.00 0.10 16.10 16.01 1.22 15.00 17.00 16.71 0.73
438-AH 43.00 56.50 59.50 60.00 62.00 57.19 5.41 3.50 19.00 0.09 56.92 56.61 3.84 54.00 62.00 59.00 2.25
439-AH 5.00 9.50 15.00 17.00 17.00 13.12 4.57 7.50 12.00 0.35 12.10 10.84 3.70 5.00 17.00 13.12 4.57
440-AH 16.00 21.00 22.00 22.00 22.00 21.38 1.50 1.00 6.00 0.07 21.32 21.25 0.86 21.00 22.00 21.73 0.46
441-AH 7.00 20.00 21.50 22.00 22.00 20.25 3.71 2.00 15.00 0.18 19.69 18.72 2.12 19.00 22.00 21.13 1.19
442-AH 22.00 22.00 22.00 22.00 22.00 22.00 0.00 0.00 0.00 0.00 22.00 22.00 0.00 22.00 22.00 22.00 0.00
443-AH 12.00 22.50 23.00 23.00 23.00 21.62 3.07 0.50 11.00 0.14 21.36 21.01 2.11 22.00 23.00 22.92 0.28
444-AH 17.00 22.00 22.00 22.00 22.00 21.69 1.25 0.00 5.00 0.06 21.65 21.60 0.59 22.00 22.00 22.00 0.00
445-AH 13.00 13.00 13.00 13.00 13.00 13.00 0.00 0.00 0.00 0.00 13.00 13.00 0.00 13.00 13.00 13.00 0.00
446-AH 0.00 5.00 8.50 9.00 9.00 6.81 3.08 4.00 9.00 0.45 2.85 0.00 2.51 0.00 9.00 6.81 3.08
447-AH 18.00 18.00 18.00 18.00 18.00 18.00 0.00 0.00 0.00 0.00 18.00 18.00 0.00 18.00 18.00 18.00 0.00
448-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
449-AH 15.00 16.00 18.00 20.50 23.00 18.38 2.75 4.50 8.00 0.15 18.19 18.01 2.22 15.00 23.00 18.38 2.75
450-AH 3.00 13.50 21.00 21.50 22.00 17.00 7.79 8.00 19.00 0.46 13.89 9.72 6.50 3.00 22.00 17.00 7.79
24
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0500 0.1313 0.1707 0.2166 0.3735 0.1720 0.0804 0.0852 0.3235 0.4675 0.1521 0.1293 0.0556 0.0500 0.2445 0.1586 0.0620
402-AH 0.1024 0.2749 0.3298 0.3631 0.4658 0.3036 0.0958 0.0883 0.3634 0.3157 0.2845 0.2595 0.0721 0.1433 0.4658 0.3170 0.0822
403-AH 0.0054 0.0409 0.1238 0.2670 0.6361 0.1939 0.2016 0.2261 0.6306 1.0397 0.0904 0.0285 0.1558 0.0054 0.5327 0.1644 0.1692
404-AH 0.0204 0.0427 0.0857 0.1220 0.2318 0.0887 0.0550 0.0793 0.2114 0.6195 0.0736 0.0600 0.0425 0.0204 0.2318 0.0887 0.0550
405-AH 0.5273 0.7163 0.7666 0.8165 0.8604 0.7505 0.0912 0.1002 0.3331 0.1216 0.7448 0.7384 0.0675 0.6035 0.8604 0.7654 0.0715
406-AH 0.0104 0.0262 0.1059 0.1747 0.2567 0.1093 0.0805 0.1485 0.2463 0.7360 0.0719 0.0387 0.0642 0.0104 0.2567 0.1093 0.0805
407-AH 0.0091 0.0187 0.0849 0.1129 0.1751 0.0738 0.0570 0.0942 0.1660 0.7718 0.0489 0.0298 0.0489 0.0091 0.1751 0.0738 0.0570
408-AH 0.4882 0.7795 0.8516 0.9175 0.9509 0.8266 0.1175 0.1380 0.4627 0.1422 0.8171 0.8055 0.0845 0.6782 0.9509 0.8492 0.0779
409-AH 0.1801 0.7500 0.8244 0.8771 0.9088 0.7814 0.1749 0.1271 0.7287 0.2239 0.7445 0.6678 0.1038 0.6493 0.9088 0.8215 0.0723
410-AH 0.1917 0.4488 0.5314 0.6193 0.6984 0.5190 0.1393 0.1704 0.5067 0.2684 0.4957 0.4646 0.1040 0.2870 0.6984 0.5408 0.1124
411-AH 0.0216 0.0435 0.0593 0.1044 0.2193 0.0813 0.0583 0.0609 0.1977 0.7172 0.0659 0.0542 0.0441 0.0216 0.1124 0.0626 0.0300
412-AH 0.0004 0.0126 0.0237 0.0367 0.0615 0.0245 0.0172 0.0241 0.0611 0.7032 0.0145 0.0038 0.0139 0.0004 0.0615 0.0245 0.0172
413-AH 0.2469 0.3041 0.3641 0.4150 0.4711 0.3562 0.0702 0.1109 0.2242 0.1971 0.3494 0.3424 0.0581 0.2469 0.4711 0.3562 0.0702
414-AH 0.0046 0.0236 0.3303 0.5141 0.8061 0.3016 0.2677 0.4905 0.8014 0.8875 0.1083 0.0191 0.2235 0.0046 0.8061 0.3016 0.2677
415-AH 0.0135 0.1146 0.1724 0.3015 0.4450 0.1944 0.1265 0.1869 0.4315 0.6505 0.1359 0.0699 0.1018 0.0135 0.4450 0.1944 0.1265
416-AH 0.1943 0.2721 0.3178 0.3392 0.4158 0.3082 0.0570 0.0671 0.2214 0.1849 0.3030 0.2975 0.0455 0.1943 0.4158 0.3082 0.0570
417-AH 0.0377 0.1817 0.2490 0.4095 0.4566 0.2652 0.1451 0.2278 0.4189 0.5472 0.2134 0.1506 0.1254 0.0377 0.4566 0.2652 0.1451
418-AH 0.3960 0.5120 0.5419 0.5819 0.6128 0.5420 0.0561 0.0699 0.2169 0.1035 0.5391 0.5358 0.0424 0.4858 0.6128 0.5517 0.0418
419-AH 0.0142 0.0409 0.0596 0.0730 0.0922 0.0571 0.0207 0.0321 0.0779 0.3637 0.0526 0.0466 0.0172 0.0142 0.0922 0.0571 0.0207
420-AH 0.4809 0.5525 0.6077 0.6836 0.7291 0.6080 0.0787 0.1311 0.2482 0.1294 0.6032 0.5982 0.0664 0.4809 0.7291 0.6080 0.0787
421-AH 0.3853 0.4149 0.5011 0.5724 0.6752 0.5047 0.0992 0.1576 0.2899 0.1965 0.4959 0.4876 0.0818 0.3853 0.6752 0.5047 0.0992
422-AH 0.0017 0.0043 0.0061 0.0120 0.0192 0.0081 0.0052 0.0076 0.0175 0.6410 0.0066 0.0052 0.0044 0.0017 0.0192 0.0081 0.0052
423-AH 0.1850 0.2746 0.3326 0.3826 0.4625 0.3288 0.0776 0.1081 0.2775 0.2360 0.3194 0.3090 0.0593 0.1850 0.4625 0.3288 0.0776
424-AH 0.0167 0.2559 0.6093 0.6610 0.7079 0.4805 0.2639 0.4051 0.6912 0.5493 0.3198 0.1197 0.2222 0.0167 0.7079 0.4805 0.2639
425-AH 0.0117 0.1852 0.2613 0.3582 0.4376 0.2535 0.1311 0.1730 0.4259 0.5172 0.1895 0.0884 0.1018 0.0117 0.4376 0.2535 0.1311
426-AH 0.0587 0.1024 0.1071 0.1492 0.1880 0.1224 0.0366 0.0468 0.1293 0.2993 0.1173 0.1121 0.0308 0.0587 0.1880 0.1224 0.0366
427-AH 0.0973 0.1637 0.2050 0.2805 0.3350 0.2209 0.0727 0.1168 0.2377 0.3291 0.2089 0.1964 0.0614 0.0973 0.3350 0.2209 0.0727
428-AH 0.0030 0.0260 0.0486 0.0989 0.1593 0.0605 0.0440 0.0728 0.1563 0.7261 0.0424 0.0221 0.0368 0.0030 0.1593 0.0605 0.0440
429-AH 0.0049 0.0151 0.0994 0.1417 0.2503 0.0898 0.0753 0.1266 0.2454 0.8382 0.0504 0.0224 0.0619 0.0049 0.2503 0.0898 0.0753
430-AH 0.0991 0.1985 0.2532 0.3479 0.4153 0.2639 0.0891 0.1494 0.3162 0.3376 0.2481 0.2302 0.0714 0.0991 0.4153 0.2639 0.0891
431-AH 0.0270 0.1778 0.3861 0.4810 0.5410 0.3323 0.1752 0.3032 0.5140 0.5271 0.2586 0.1537 0.1508 0.0270 0.5410 0.3323 0.1752
432-AH 0.0066 0.4267 0.4673 0.5691 0.6691 0.4537 0.1752 0.1425 0.6626 0.3862 0.3483 0.0843 0.1121 0.4188 0.6691 0.5106 0.0842
433-AH 0.0216 0.1176 0.3225 0.4483 0.5503 0.3041 0.1750 0.3307 0.5287 0.5756 0.2335 0.1405 0.1522 0.0216 0.5503 0.3041 0.1750
434-AH 0.0000 0.5511 0.8734 0.9187 0.9553 0.7267 0.2779 0.3676 0.9553 0.3823 0.3682 0.0002 0.2218 0.0000 0.9553 0.7267 0.2779
435-AH 0.0083 0.0564 0.0734 0.0906 0.1480 0.0733 0.0383 0.0342 0.1396 0.5224 0.0601 0.0411 0.0281 0.0083 0.0932 0.0628 0.0273
436-AH 0.0003 0.0077 0.1683 0.2660 0.3368 0.1482 0.1246 0.2583 0.3365 0.8411 0.0439 0.0029 0.1100 0.0003 0.3368 0.1482 0.1246
437-AH 0.2016 0.2589 0.4001 0.5124 0.6086 0.4020 0.1416 0.2535 0.4070 0.3522 0.3769 0.3512 0.1180 0.2016 0.6086 0.4020 0.1416
438-AH 0.0866 0.1848 0.4797 0.5676 0.6127 0.3919 0.1994 0.3828 0.5261 0.5089 0.3299 0.2628 0.1835 0.0866 0.6127 0.3919 0.1994
439-AH 0.0047 0.0414 0.0822 0.1180 0.1423 0.0792 0.0432 0.0766 0.1376 0.5450 0.0608 0.0338 0.0360 0.0047 0.1423 0.0792 0.0432
440-AH 0.0691 0.1643 0.2465 0.2999 0.3811 0.2389 0.0866 0.1355 0.3120 0.3626 0.2211 0.1990 0.0692 0.0691 0.3811 0.2389 0.0866
441-AH 0.0049 0.2139 0.7290 0.8051 0.8683 0.5487 0.3296 0.5912 0.8634 0.6008 0.3132 0.0570 0.2812 0.0049 0.8683 0.5487 0.3296
442-AH 0.3727 0.5083 0.5774 0.6384 0.6881 0.5725 0.0838 0.1301 0.3154 0.1464 0.5662 0.5593 0.0671 0.3727 0.6881 0.5725 0.0838
443-AH 0.0601 0.2375 0.4548 0.6084 0.7094 0.4217 0.2060 0.3710 0.6494 0.4886 0.3558 0.2691 0.1694 0.0601 0.7094 0.4217 0.2060
444-AH 0.1173 0.3771 0.4174 0.5139 0.5481 0.4158 0.1103 0.1367 0.4308 0.2652 0.3953 0.3626 0.0788 0.2877 0.5481 0.4357 0.0790
445-AH 0.4157 0.6223 0.7260 0.8170 0.9467 0.7069 0.1608 0.1947 0.5310 0.2275 0.6879 0.6670 0.1266 0.4157 0.9467 0.7069 0.1608
446-AH 0.0000 0.0081 0.1138 0.2168 0.5474 0.1527 0.1766 0.2086 0.5474 1.1562 0.0293 0.0002 0.1321 0.0000 0.5223 0.1264 0.1467
447-AH 0.1329 0.4392 0.5178 0.6358 0.7430 0.5218 0.1513 0.1966 0.6101 0.2899 0.4921 0.4443 0.1117 0.3870 0.7430 0.5477 0.1140
448-AH 0.2278 0.2717 0.6072 0.8333 1.0000 0.5641 0.2829 0.5616 0.7722 0.5015 0.4906 0.4223 0.2599 0.2278 1.0000 0.5641 0.2829
449-AH 0.1646 0.2081 0.2725 0.3477 0.4813 0.2872 0.0931 0.1396 0.3167 0.3240 0.2740 0.2617 0.0723 0.1646 0.4813 0.2872 0.0931
450-AH 0.0046 0.0550 0.1824 0.3054 0.4262 0.1922 0.1482 0.2504 0.4216 0.7713 0.0901 0.0199 0.1213 0.0046 0.4262 0.1922 0.1482
25
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1000 0.2000 0.2500 0.4000 0.1875 0.1025 0.1500 0.4000 0.5465 0.0977 0.0002 0.0781 0.0000 0.4000 0.1875 0.1025
402-AH 0.1935 0.3226 0.3548 0.3871 0.4516 0.3407 0.0716 0.0645 0.2581 0.2102 0.3325 0.3230 0.0539 0.2258 0.4516 0.3505 0.0620
403-AH 0.0345 0.0345 0.1552 0.3276 0.5862 0.2069 0.1876 0.2931 0.5517 0.9068 0.1302 0.0800 0.1509 0.0345 0.5862 0.2069 0.1876
404-AH 0.0000 0.1111 0.1111 0.1111 0.2222 0.1042 0.0492 0.0000 0.2222 0.4720 0.0362 0.0001 0.0260 0.1111 0.1111 0.1111 0.0000
405-AH 0.5000 0.6667 0.6667 0.8333 0.8333 0.6979 0.1250 0.1667 0.3333 0.1791 0.6868 0.6751 0.1016 0.5000 0.8333 0.6979 0.1250
406-AH 0.0000 0.0000 0.0909 0.1818 0.1818 0.1023 0.0805 0.1818 0.1818 0.7867 0.0071 0.0000 0.0696 0.0000 0.1818 0.1023 0.0805
407-AH 0.0000 0.0000 0.0000 0.0000 0.3333 0.0417 0.1139 0.0000 0.3333 2.7325 0.0000 0.0000 0.0729 0.0000 0.0000 0.0000 0.0000
408-AH 0.4000 0.7250 0.7750 0.8250 0.8750 0.7547 0.1141 0.1000 0.4750 0.1512 0.7442 0.7302 0.0754 0.6250 0.8750 0.7783 0.0661
409-AH 0.2222 0.6667 0.7778 0.8889 0.8889 0.7431 0.1659 0.2222 0.6667 0.2233 0.7146 0.6652 0.1128 0.6667 0.8889 0.7778 0.0939
410-AH 0.2500 0.4583 0.5833 0.5833 0.6667 0.5260 0.1206 0.1250 0.4167 0.2293 0.5103 0.4910 0.0957 0.3333 0.6667 0.5444 0.0989
411-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0894 0.1000 0.2000 1.7889 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0894
412-AH 0.0000 0.0000 0.0000 0.0833 0.0833 0.0260 0.0399 0.0833 0.0833 1.5319 0.0002 0.0000 0.0358 0.0000 0.0833 0.0260 0.0399
413-AH 0.1818 0.3636 0.3636 0.4545 0.5455 0.3864 0.1126 0.0909 0.3636 0.2914 0.3685 0.3477 0.0852 0.2727 0.5455 0.4156 0.0852
414-AH 0.0000 0.0250 0.3000 0.5250 0.8000 0.2969 0.2604 0.5000 0.8000 0.8772 0.0231 0.0000 0.2160 0.0000 0.8000 0.2969 0.2604
415-AH 0.0213 0.1170 0.2766 0.3723 0.4894 0.2473 0.1436 0.2553 0.4681 0.5808 0.1857 0.1114 0.1180 0.0213 0.4894 0.2473 0.1436
416-AH 0.1296 0.2407 0.3056 0.3426 0.3889 0.2951 0.0668 0.1019 0.2593 0.2262 0.2865 0.2755 0.0522 0.1296 0.3889 0.2951 0.0668
417-AH 0.0556 0.1944 0.3333 0.4444 0.5556 0.3229 0.1507 0.2500 0.5000 0.4668 0.2784 0.2209 0.1241 0.0556 0.5556 0.3229 0.1507
418-AH 0.2951 0.5082 0.5410 0.5738 0.6393 0.5359 0.0773 0.0656 0.3443 0.1442 0.5292 0.5207 0.0494 0.4918 0.6393 0.5519 0.0445
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.3871 0.5000 0.5806 0.5968 0.6452 0.5524 0.0725 0.0968 0.2581 0.1312 0.5477 0.5426 0.0600 0.3871 0.6452 0.5524 0.0725
421-AH 0.3750 0.5000 0.5000 0.6250 0.7500 0.5312 0.0968 0.1250 0.3750 0.1823 0.5231 0.5150 0.0742 0.3750 0.7500 0.5312 0.0968
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1875 0.3125 0.3750 0.4375 0.5000 0.3789 0.0773 0.1250 0.3125 0.2040 0.3701 0.3594 0.0591 0.1875 0.5000 0.3789 0.0773
424-AH 0.0000 0.1667 0.5000 0.5000 0.6667 0.3750 0.2317 0.3333 0.6667 0.6180 0.0332 0.0000 0.1927 0.0000 0.6667 0.3750 0.2317
425-AH 0.0000 0.2353 0.3529 0.4412 0.4706 0.3125 0.1603 0.2059 0.4706 0.5131 0.0911 0.0001 0.1264 0.0000 0.4706 0.3125 0.1603
426-AH 0.1250 0.1250 0.1667 0.1875 0.2917 0.1693 0.0492 0.0625 0.1667 0.2908 0.1634 0.1584 0.0352 0.1250 0.2500 0.1611 0.0381
427-AH 0.1429 0.1429 0.2500 0.3571 0.4286 0.2545 0.1074 0.2143 0.2857 0.4222 0.2331 0.2136 0.0938 0.1429 0.4286 0.2545 0.1074
428-AH 0.0000 0.0000 0.0556 0.1111 0.1667 0.0590 0.0656 0.1111 0.1667 1.1120 0.0017 0.0000 0.0534 0.0000 0.1667 0.0590 0.0656
429-AH 0.0000 0.0476 0.0952 0.1905 0.2857 0.1190 0.0904 0.1429 0.2857 0.7589 0.0133 0.0000 0.0744 0.0000 0.2857 0.1190 0.0904
430-AH 0.1034 0.2414 0.3276 0.4310 0.4483 0.3233 0.1090 0.1897 0.3448 0.3370 0.3020 0.2757 0.0905 0.1034 0.4483 0.3233 0.1090
431-AH 0.1111 0.2037 0.3704 0.4630 0.5556 0.3472 0.1443 0.2593 0.4444 0.4156 0.3111 0.2687 0.1186 0.1111 0.5556 0.3472 0.1443
432-AH 0.0000 0.4286 0.4286 0.4286 0.4286 0.3929 0.1107 0.0000 0.4286 0.2817 0.2145 0.0002 0.0625 0.4286 0.4286 0.4286 0.0000
433-AH 0.0000 0.1667 0.3750 0.4167 0.5833 0.3073 0.1714 0.2500 0.5833 0.5577 0.0887 0.0001 0.1439 0.0000 0.5833 0.3073 0.1714
434-AH 0.0000 0.6081 0.7703 0.7973 0.8649 0.6639 0.2375 0.1892 0.8649 0.3577 0.3398 0.0002 0.1717 0.4865 0.8649 0.7413 0.1053
435-AH 0.0000 0.0833 0.0833 0.0833 0.1667 0.0729 0.0417 0.0000 0.1667 0.5714 0.0160 0.0001 0.0273 0.0833 0.0833 0.0833 0.0000
436-AH 0.0000 0.0250 0.1750 0.2875 0.3500 0.1672 0.1390 0.2625 0.3500 0.8312 0.0249 0.0001 0.1266 0.0000 0.3500 0.1672 0.1390
437-AH 0.2353 0.3529 0.4118 0.5000 0.6471 0.4191 0.1174 0.1471 0.4118 0.2801 0.4041 0.3897 0.0910 0.2353 0.6471 0.4191 0.1174
438-AH 0.0484 0.1935 0.5081 0.5726 0.5968 0.3962 0.2008 0.3790 0.5484 0.5068 0.3259 0.2346 0.1813 0.0484 0.5968 0.3962 0.2008
439-AH 0.0000 0.0000 0.0588 0.1176 0.2353 0.0772 0.0735 0.1176 0.2353 0.9524 0.0056 0.0000 0.0597 0.0000 0.2353 0.0772 0.0735
440-AH 0.1364 0.2273 0.2727 0.3409 0.4545 0.2784 0.0907 0.1136 0.3182 0.3258 0.2626 0.2449 0.0689 0.1364 0.4545 0.2784 0.0907
441-AH 0.0000 0.2500 0.6591 0.7273 0.8182 0.5114 0.2848 0.4773 0.8182 0.5570 0.2200 0.0002 0.2415 0.0000 0.8182 0.5114 0.2848
442-AH 0.3636 0.5000 0.5909 0.6364 0.6818 0.5682 0.0894 0.1364 0.3182 0.1573 0.5608 0.5526 0.0739 0.3636 0.6818 0.5682 0.0894
443-AH 0.1739 0.2826 0.4130 0.5217 0.6522 0.3995 0.1321 0.2391 0.4783 0.3307 0.3775 0.3544 0.1114 0.1739 0.6522 0.3995 0.1321
444-AH 0.1818 0.3636 0.4091 0.4545 0.5000 0.3949 0.0842 0.0909 0.3182 0.2132 0.3843 0.3709 0.0632 0.2727 0.5000 0.4091 0.0643
445-AH 0.3846 0.5385 0.6923 0.7692 0.8462 0.6587 0.1346 0.2308 0.4615 0.2044 0.6443 0.6285 0.1148 0.3846 0.8462 0.6587 0.1346
446-AH 0.0000 0.0000 0.0556 0.2778 0.4444 0.1458 0.1708 0.2778 0.4444 1.1711 0.0016 0.0000 0.1502 0.0000 0.4444 0.1458 0.1708
447-AH 0.2222 0.5000 0.5556 0.5556 0.7222 0.5174 0.1049 0.0556 0.5000 0.2027 0.5043 0.4862 0.0686 0.4444 0.5556 0.5342 0.0361
448-AH 0.0000 0.3333 0.5000 0.6667 1.0000 0.5000 0.2434 0.3333 1.0000 0.4869 0.2522 0.0002 0.2083 0.0000 1.0000 0.5000 0.2434
449-AH 0.1739 0.2609 0.3043 0.3478 0.4348 0.2989 0.0808 0.0870 0.2609 0.2702 0.2877 0.2755 0.0659 0.1739 0.4348 0.2989 0.0808
450-AH 0.0455 0.1136 0.3182 0.3864 0.4545 0.2642 0.1541 0.2727 0.4091 0.5833 0.1976 0.1258 0.1346 0.0455 0.4545 0.2642 0.1541
26
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1000 0.1250 0.1600 0.3300 0.1325 0.0738 0.0600 0.3300 0.5570 0.0708 0.0002 0.0516 0.0400 0.2000 0.1279 0.0437
402-AH 0.1270 0.2804 0.3054 0.3377 0.4069 0.2928 0.0732 0.0572 0.2799 0.2501 0.2819 0.2681 0.0518 0.2706 0.4069 0.3227 0.0368
403-AH 0.0107 0.0309 0.1147 0.2348 0.5791 0.1747 0.1833 0.2039 0.5684 1.0489 0.0935 0.0456 0.1416 0.0107 0.4828 0.1478 0.1534
404-AH 0.0000 0.0370 0.0741 0.0988 0.1358 0.0694 0.0393 0.0617 0.1358 0.5655 0.0239 0.0001 0.0311 0.0000 0.1358 0.0694 0.0393
405-AH 0.5833 0.6389 0.7500 0.7917 0.8333 0.7205 0.0863 0.1528 0.2500 0.1198 0.7154 0.7102 0.0716 0.5833 0.8333 0.7205 0.0863
406-AH 0.0000 0.0000 0.0826 0.1405 0.1818 0.0821 0.0662 0.1405 0.1818 0.8063 0.0061 0.0000 0.0554 0.0000 0.1818 0.0821 0.0662
407-AH 0.0000 0.0000 0.0000 0.0000 0.2222 0.0278 0.0759 0.0000 0.2222 2.7325 0.0000 0.0000 0.0486 0.0000 0.0000 0.0000 0.0000
408-AH 0.3550 0.7634 0.8194 0.9003 0.9388 0.7989 0.1427 0.1369 0.5838 0.1787 0.7822 0.7582 0.0925 0.6431 0.9388 0.8285 0.0826
409-AH 0.1728 0.7099 0.8086 0.8457 0.8765 0.7546 0.1700 0.1358 0.7037 0.2253 0.7186 0.6438 0.1059 0.6296 0.8765 0.7934 0.0721
410-AH 0.1528 0.4583 0.4826 0.5486 0.6944 0.4796 0.1300 0.0903 0.5417 0.2711 0.4558 0.4206 0.0855 0.4236 0.6042 0.5064 0.0542
411-AH 0.0000 0.0000 0.0000 0.0800 0.2000 0.0450 0.0812 0.0800 0.2000 1.8035 0.0001 0.0000 0.0675 0.0000 0.1600 0.0229 0.0581
412-AH 0.0000 0.0000 0.0000 0.0208 0.0764 0.0117 0.0216 0.0208 0.0764 1.8452 0.0001 0.0000 0.0161 0.0000 0.0347 0.0074 0.0135
413-AH 0.1405 0.2645 0.3058 0.4215 0.4463 0.3218 0.0987 0.1570 0.3058 0.3068 0.3058 0.2880 0.0821 0.1405 0.4463 0.3218 0.0987
414-AH 0.0000 0.0088 0.2788 0.4787 0.7900 0.2833 0.2597 0.4700 0.7900 0.9167 0.0209 0.0000 0.2130 0.0000 0.7900 0.2833 0.2597
415-AH 0.0140 0.0799 0.1786 0.2782 0.4409 0.1875 0.1291 0.1983 0.4269 0.6882 0.1283 0.0660 0.1018 0.0140 0.4409 0.1875 0.1291
416-AH 0.0878 0.1807 0.2257 0.2572 0.3333 0.2202 0.0596 0.0765 0.2455 0.2708 0.2113 0.2005 0.0449 0.0878 0.3333 0.2202 0.0596
417-AH 0.0216 0.1404 0.2469 0.3997 0.5000 0.2585 0.1539 0.2593 0.4784 0.5955 0.1979 0.1232 0.1327 0.0216 0.5000 0.2585 0.1539
418-AH 0.2634 0.5199 0.5687 0.5859 0.6463 0.5484 0.0898 0.0660 0.3830 0.1638 0.5390 0.5259 0.0583 0.4894 0.6463 0.5674 0.0496
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.3965 0.4927 0.5692 0.6072 0.6670 0.5504 0.0729 0.1145 0.2706 0.1324 0.5457 0.5407 0.0607 0.3965 0.6670 0.5504 0.0729
421-AH 0.3438 0.4062 0.4375 0.5391 0.7188 0.4756 0.1152 0.1328 0.3750 0.2423 0.4636 0.4527 0.0917 0.3438 0.7188 0.4756 0.1152
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1523 0.2637 0.3145 0.3633 0.4141 0.3132 0.0710 0.0996 0.2617 0.2268 0.3045 0.2942 0.0559 0.1523 0.4141 0.3132 0.0710
424-AH 0.0000 0.1944 0.5139 0.5556 0.6667 0.4045 0.2503 0.3611 0.6667 0.6188 0.0351 0.0000 0.2042 0.0000 0.6667 0.4045 0.2503
425-AH 0.0000 0.1367 0.3045 0.3789 0.4394 0.2558 0.1459 0.2422 0.4394 0.5701 0.0737 0.0001 0.1209 0.0000 0.4394 0.2558 0.1459
426-AH 0.0920 0.0981 0.1137 0.1424 0.2066 0.1258 0.0362 0.0443 0.1146 0.2879 0.1215 0.1179 0.0282 0.0920 0.2066 0.1258 0.0362
427-AH 0.0408 0.0816 0.1658 0.2526 0.3418 0.1652 0.0912 0.1709 0.3010 0.5523 0.1396 0.1154 0.0797 0.0408 0.3418 0.1652 0.0912
428-AH 0.0000 0.0000 0.0108 0.0432 0.0895 0.0231 0.0289 0.0432 0.0895 1.2479 0.0009 0.0000 0.0243 0.0000 0.0895 0.0231 0.0289
429-AH 0.0000 0.0249 0.0896 0.1349 0.2109 0.0884 0.0673 0.1100 0.2109 0.7606 0.0106 0.0000 0.0550 0.0000 0.2109 0.0884 0.0673
430-AH 0.0999 0.1873 0.2372 0.3603 0.3853 0.2620 0.0921 0.1730 0.2854 0.3517 0.2451 0.2267 0.0802 0.0999 0.3853 0.2620 0.0921
431-AH 0.0302 0.1660 0.3265 0.4108 0.4760 0.2963 0.1459 0.2449 0.4458 0.4925 0.2413 0.1617 0.1193 0.0302 0.4760 0.2963 0.1459
432-AH 0.0000 0.3673 0.4184 0.4694 0.5510 0.3788 0.1382 0.1020 0.5510 0.3648 0.1999 0.0002 0.0925 0.3061 0.5510 0.4242 0.0611
433-AH 0.0000 0.1146 0.3160 0.3889 0.5000 0.2617 0.1643 0.2743 0.5000 0.6277 0.0722 0.0001 0.1422 0.0000 0.5000 0.2617 0.1643
434-AH 0.0000 0.5873 0.8411 0.8992 0.9503 0.7114 0.2754 0.3119 0.9503 0.3872 0.3582 0.0002 0.2127 0.2462 0.9503 0.7589 0.2067
435-AH 0.0000 0.0104 0.0417 0.0556 0.0833 0.0373 0.0262 0.0451 0.0833 0.7023 0.0083 0.0001 0.0217 0.0000 0.0833 0.0373 0.0262
436-AH 0.0000 0.0062 0.1166 0.2172 0.2706 0.1174 0.1045 0.2109 0.2706 0.8905 0.0154 0.0001 0.0952 0.0000 0.2706 0.1174 0.1045
437-AH 0.1834 0.2284 0.3322 0.4965 0.5433 0.3499 0.1290 0.2682 0.3599 0.3688 0.3272 0.3053 0.1073 0.1834 0.5433 0.3499 0.1290
438-AH 0.0484 0.1299 0.5007 0.5611 0.5957 0.3750 0.2167 0.4312 0.5473 0.5780 0.2898 0.1985 0.2001 0.0484 0.5957 0.3750 0.2167
439-AH 0.0000 0.0000 0.0173 0.0484 0.0727 0.0262 0.0270 0.0484 0.0727 1.0333 0.0024 0.0000 0.0234 0.0000 0.0727 0.0262 0.0270
440-AH 0.0620 0.1488 0.2045 0.2490 0.3595 0.2038 0.0781 0.1002 0.2975 0.3834 0.1874 0.1681 0.0599 0.0620 0.3595 0.2038 0.0781
441-AH 0.0000 0.1839 0.7128 0.7655 0.8450 0.5181 0.3251 0.5816 0.8450 0.6275 0.1789 0.0002 0.2827 0.0000 0.8450 0.5181 0.3251
442-AH 0.3326 0.4762 0.5558 0.6147 0.7169 0.5489 0.1023 0.1384 0.3843 0.1864 0.5392 0.5285 0.0825 0.3326 0.7169 0.5489 0.1023
443-AH 0.0964 0.2268 0.3790 0.5180 0.6484 0.3712 0.1670 0.2911 0.5520 0.4499 0.3314 0.2874 0.1358 0.0964 0.6484 0.3712 0.1670
444-AH 0.1281 0.3254 0.3647 0.4132 0.4917 0.3554 0.0895 0.0878 0.3636 0.2518 0.3413 0.3216 0.0633 0.2397 0.4917 0.3705 0.0682
445-AH 0.3373 0.5385 0.6864 0.7899 0.9231 0.6631 0.1721 0.2515 0.5858 0.2595 0.6396 0.6136 0.1416 0.3373 0.9231 0.6631 0.1721
446-AH 0.0000 0.0000 0.0185 0.2037 0.4321 0.1096 0.1490 0.2037 0.4321 1.3595 0.0013 0.0000 0.1186 0.0000 0.4321 0.1096 0.1490
447-AH 0.1327 0.4090 0.4877 0.5926 0.7377 0.4917 0.1510 0.1836 0.6049 0.3071 0.4620 0.4181 0.1182 0.2994 0.7377 0.5156 0.1209
448-AH 0.0000 0.1111 0.5556 0.6667 1.0000 0.4444 0.3116 0.5556 1.0000 0.7012 0.1872 0.0002 0.2778 0.0000 1.0000 0.4444 0.3116
449-AH 0.1456 0.2155 0.2580 0.2930 0.3762 0.2571 0.0693 0.0775 0.2306 0.2695 0.2477 0.2378 0.0527 0.1456 0.3762 0.2571 0.0693
450-AH 0.0062 0.0506 0.2025 0.3079 0.3884 0.1976 0.1335 0.2572 0.3822 0.6757 0.1256 0.0492 0.1113 0.0062 0.3884 0.1976 0.1335
27
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0704 0.4375 1.0000 1.0000 1.0000 0.7139 0.3534 0.5625 0.9296 0.4951 0.5785 0.3822 0.3219 0.0704 1.0000 0.7139 0.3534
402-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
403-AH 0.0571 0.4464 1.0000 1.0000 1.0000 0.7554 0.4055 0.5536 0.9429 0.5368 0.5190 0.2394 0.3364 0.0571 1.0000 0.7554 0.4055
404-AH 0.0588 0.1429 0.2500 0.5000 1.0000 0.3582 0.2875 0.3571 0.9412 0.8027 0.2682 0.1975 0.2136 0.0588 1.0000 0.3582 0.2875
405-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9792 0.0833 0.0000 0.3333 0.0851 0.9750 0.9697 0.0391 1.0000 1.0000 1.0000 0.0000
406-AH 0.0278 0.1146 0.5000 1.0000 1.0000 0.4886 0.3943 0.8854 0.9722 0.8070 0.2867 0.1305 0.3254 0.0278 1.0000 0.4886 0.3943
407-AH 0.0093 0.0354 0.2000 0.2500 0.5000 0.1766 0.1591 0.2146 0.4907 0.9011 0.1010 0.0490 0.1263 0.0093 0.5000 0.1766 0.1591
408-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
409-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9688 0.1250 0.0000 0.5000 0.1290 0.9576 0.9412 0.0586 1.0000 1.0000 1.0000 0.0000
410-AH 0.3333 0.6905 0.8542 1.0000 1.0000 0.8142 0.2130 0.3095 0.6667 0.2616 0.7806 0.7375 0.1726 0.3333 1.0000 0.8142 0.2130
411-AH 0.0312 0.0823 0.1307 0.3333 1.0000 0.2670 0.3184 0.2510 0.9688 1.1925 0.1546 0.1005 0.2415 0.0312 0.5000 0.1622 0.1499
412-AH 0.0049 0.0365 0.0577 0.1181 0.5000 0.0924 0.1181 0.0816 0.4951 1.2784 0.0532 0.0277 0.0714 0.0049 0.1538 0.0652 0.0478
413-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9688 0.1250 0.0000 0.5000 0.1290 0.9576 0.9412 0.0586 1.0000 1.0000 1.0000 0.0000
414-AH 0.0179 0.1164 1.0000 1.0000 1.0000 0.6664 0.4502 0.8836 0.9821 0.6755 0.3660 0.1133 0.4170 0.0179 1.0000 0.6664 0.4502
415-AH 0.0581 0.2243 0.3798 0.4667 0.6667 0.3631 0.1855 0.2424 0.6085 0.5109 0.3022 0.2276 0.1411 0.0581 0.6667 0.3631 0.1855
416-AH 0.3750 0.4495 1.0000 1.0000 1.0000 0.7877 0.2842 0.5505 0.6250 0.3608 0.7300 0.6682 0.2654 0.3750 1.0000 0.7877 0.2842
417-AH 0.1212 0.3485 0.6515 1.0000 1.0000 0.6555 0.3495 0.6515 0.8788 0.5331 0.5376 0.4067 0.3028 0.1212 1.0000 0.6555 0.3495
418-AH 0.5455 0.7636 1.0000 1.0000 1.0000 0.8926 0.1579 0.2364 0.4545 0.1769 0.8774 0.8602 0.1343 0.5455 1.0000 0.8926 0.1579
419-AH 0.0189 0.0563 0.0714 0.0819 0.1176 0.0690 0.0223 0.0256 0.0988 0.3236 0.0647 0.0587 0.0160 0.0189 0.1176 0.0690 0.0223
420-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
421-AH 0.5714 0.8167 1.0000 1.0000 1.0000 0.9138 0.1429 0.1833 0.4286 0.1564 0.9016 0.8872 0.1185 0.5714 1.0000 0.9138 0.1429
422-AH 0.0051 0.0111 0.0174 0.0455 0.0588 0.0260 0.0194 0.0344 0.0538 0.7440 0.0193 0.0142 0.0167 0.0051 0.0588 0.0260 0.0194
423-AH 0.3000 0.6000 0.7738 1.0000 1.0000 0.7637 0.2481 0.4000 0.7000 0.3249 0.7182 0.6654 0.2155 0.3000 1.0000 0.7637 0.2481
424-AH 0.0306 0.4583 1.0000 1.0000 1.0000 0.7563 0.3974 0.5417 0.9694 0.5255 0.5169 0.2017 0.3351 0.0306 1.0000 0.7563 0.3974
425-AH 0.0240 0.5227 0.6458 0.7500 1.0000 0.6165 0.2898 0.2273 0.9760 0.4700 0.4684 0.1984 0.2116 0.3529 1.0000 0.6988 0.1964
426-AH 0.2500 0.3333 0.4000 0.5833 1.0000 0.5037 0.2664 0.2500 0.7500 0.5290 0.4513 0.4129 0.2065 0.2500 0.6667 0.3892 0.1138
427-AH 0.1754 0.2196 0.3312 0.5000 1.0000 0.3826 0.2156 0.2804 0.8246 0.5635 0.3371 0.3018 0.1627 0.1754 0.6000 0.3415 0.1442
428-AH 0.0208 0.0645 0.0985 0.1667 0.2083 0.1122 0.0574 0.1021 0.1875 0.5117 0.0965 0.0788 0.0500 0.0208 0.2083 0.1122 0.0574
429-AH 0.0182 0.0936 0.4500 1.0000 1.0000 0.5413 0.4388 0.9064 0.9818 0.8107 0.2695 0.0863 0.4014 0.0182 1.0000 0.5413 0.4388
430-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9792 0.0833 0.0000 0.3333 0.0851 0.9750 0.9697 0.0391 1.0000 1.0000 1.0000 0.0000
431-AH 0.1154 0.5682 1.0000 1.0000 1.0000 0.7814 0.3238 0.4318 0.8846 0.4144 0.6672 0.4873 0.2733 0.1154 1.0000 0.7814 0.3238
432-AH 0.0123 0.5420 0.5917 1.0000 1.0000 0.7032 0.3039 0.4580 0.9877 0.4321 0.5492 0.1545 0.2597 0.0123 1.0000 0.7032 0.3039
433-AH 0.0370 0.3250 1.0000 1.0000 1.0000 0.6966 0.3772 0.6750 0.9630 0.5415 0.5272 0.2791 0.3413 0.0370 1.0000 0.6966 0.3772
434-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.9028 0.2594 0.0000 1.0000 0.2873 0.4674 0.0002 0.1580 1.0000 1.0000 1.0000 0.0000
435-AH 0.0148 0.1263 0.1667 0.2000 1.0000 0.2033 0.2222 0.0737 0.9852 1.0932 0.1424 0.0878 0.1113 0.0317 0.2500 0.1598 0.0581
436-AH 0.0041 0.0365 0.2583 0.3810 1.0000 0.2659 0.2526 0.3445 0.9959 0.9499 0.1295 0.0324 0.1814 0.0041 0.4545 0.2170 0.1652
437-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9844 0.0625 0.0000 0.2500 0.0635 0.9822 0.9796 0.0293 1.0000 1.0000 1.0000 0.0000
438-AH 0.4565 1.0000 1.0000 1.0000 1.0000 0.9192 0.1832 0.0000 0.5435 0.1993 0.8956 0.8638 0.1314 1.0000 1.0000 1.0000 0.0000
439-AH 0.0455 0.1080 0.1676 0.1852 0.2400 0.1553 0.0565 0.0772 0.1945 0.3642 0.1432 0.1282 0.0456 0.0455 0.2400 0.1553 0.0565
440-AH 0.1739 0.5175 1.0000 1.0000 1.0000 0.7816 0.3213 0.4825 0.8261 0.4110 0.6857 0.5588 0.2730 0.1739 1.0000 0.7816 0.3213
441-AH 0.0263 0.5714 1.0000 1.0000 1.0000 0.7742 0.4047 0.4286 0.9737 0.5227 0.5332 0.2101 0.3388 0.0263 1.0000 0.7742 0.4047
442-AH 0.6500 1.0000 1.0000 1.0000 1.0000 0.9656 0.0978 0.0000 0.3500 0.1013 0.9600 0.9530 0.0602 1.0000 1.0000 1.0000 0.0000
443-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9125 0.1893 0.0000 0.5000 0.2074 0.8882 0.8571 0.1422 1.0000 1.0000 1.0000 0.0000
444-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9583 0.1667 0.0000 0.6667 0.1739 0.9336 0.8889 0.0781 1.0000 1.0000 1.0000 0.0000
445-AH 0.7857 1.0000 1.0000 1.0000 1.0000 0.9866 0.0536 0.0000 0.2143 0.0543 0.9850 0.9832 0.0251 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0310 0.1887 0.7143 1.0000 0.3618 0.4016 0.6833 1.0000 1.1101 0.0747 0.0002 0.3275 0.0000 1.0000 0.3618 0.4016
447-AH 0.3333 0.5492 0.6667 1.0000 1.0000 0.7362 0.2297 0.4508 0.6667 0.3120 0.7005 0.6632 0.1996 0.3333 1.0000 0.7362 0.2297
448-AH 0.3333 0.3667 1.0000 1.0000 1.0000 0.7333 0.3162 0.6333 0.6667 0.4312 0.6580 0.5818 0.3000 0.3333 1.0000 0.7333 0.3162
449-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9792 0.0833 0.0000 0.3333 0.0851 0.9750 0.9697 0.0391 1.0000 1.0000 1.0000 0.0000
450-AH 0.0500 0.1667 0.3842 1.0000 1.0000 0.5405 0.3919 0.8333 0.9500 0.7249 0.3739 0.2257 0.3520 0.0500 1.0000 0.5405 0.3919
28
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0704 0.4375 1.0000 1.0000 1.0000 0.7139 0.3534 0.5625 0.9296 0.4951 0.5785 0.3822 0.3219 0.0704 1.0000 0.7139 0.3534
402-AH 0.2778 0.8000 1.0000 1.0000 1.0000 0.8520 0.2365 0.2000 0.7222 0.2775 0.8069 0.7425 0.1850 0.8000 1.0000 0.9538 0.0877
403-AH 0.0303 0.0669 0.3167 0.6607 0.7857 0.3571 0.2911 0.5938 0.7554 0.8151 0.2223 0.1219 0.2423 0.0303 0.7857 0.3571 0.2911
404-AH 0.0588 0.1429 0.2500 0.5000 1.0000 0.3582 0.2875 0.3571 0.9412 0.8027 0.2682 0.1975 0.2136 0.0588 1.0000 0.3582 0.2875
405-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9792 0.0833 0.0000 0.3333 0.0851 0.9750 0.9697 0.0391 1.0000 1.0000 1.0000 0.0000
406-AH 0.0186 0.0494 0.1662 0.3579 1.0000 0.2358 0.2476 0.3085 0.9814 1.0501 0.1375 0.0742 0.1751 0.0186 0.4000 0.1849 0.1457
407-AH 0.0093 0.0354 0.2000 0.2500 0.5000 0.1766 0.1591 0.2146 0.4907 0.9011 0.1010 0.0490 0.1263 0.0093 0.5000 0.1766 0.1591
408-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
409-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9688 0.1250 0.0000 0.5000 0.1290 0.9576 0.9412 0.0586 1.0000 1.0000 1.0000 0.0000
410-AH 0.3333 0.6667 0.7500 0.8542 1.0000 0.7413 0.1842 0.1875 0.6667 0.2486 0.7158 0.6849 0.1296 0.4375 1.0000 0.7685 0.1539
411-AH 0.0312 0.0823 0.1307 0.3333 1.0000 0.2670 0.3184 0.2510 0.9688 1.1925 0.1546 0.1005 0.2415 0.0312 0.5000 0.1622 0.1499
412-AH 0.0000 0.0334 0.0530 0.0722 0.1538 0.0569 0.0437 0.0388 0.1538 0.7693 0.0179 0.0001 0.0316 0.0000 0.0769 0.0438 0.0270
413-AH 0.3333 0.6333 0.6667 0.8333 1.0000 0.7042 0.1988 0.2000 0.6667 0.2824 0.6771 0.6486 0.1479 0.5000 1.0000 0.7289 0.1786
414-AH 0.0120 0.0893 0.8375 1.0000 1.0000 0.6078 0.4468 0.9107 0.9880 0.7351 0.2595 0.0498 0.4080 0.0120 1.0000 0.6078 0.4468
415-AH 0.0581 0.1883 0.3406 0.4282 0.5556 0.3166 0.1637 0.2399 0.4974 0.5170 0.2551 0.1809 0.1296 0.0581 0.5556 0.3166 0.1637
416-AH 0.1921 0.3426 0.3780 0.4069 0.5455 0.3746 0.0767 0.0643 0.3533 0.2049 0.3664 0.3567 0.0519 0.2927 0.4444 0.3754 0.0446
417-AH 0.1212 0.2917 0.6307 0.7500 1.0000 0.5380 0.2892 0.4583 0.8788 0.5374 0.4473 0.3503 0.2503 0.1212 1.0000 0.5380 0.2892
418-AH 0.5294 0.6131 0.6906 0.7273 0.8750 0.6740 0.0889 0.1142 0.3456 0.1319 0.6685 0.6630 0.0671 0.5294 0.8750 0.6740 0.0889
419-AH 0.0189 0.0563 0.0714 0.0819 0.1176 0.0690 0.0223 0.0256 0.0988 0.3236 0.0647 0.0587 0.0160 0.0189 0.1176 0.0690 0.0223
420-AH 0.8750 0.9615 1.0000 1.0000 1.0000 0.9759 0.0441 0.0385 0.1250 0.0452 0.9749 0.9739 0.0361 0.9167 1.0000 0.9886 0.0291
421-AH 0.5714 0.8167 1.0000 1.0000 1.0000 0.9138 0.1429 0.1833 0.4286 0.1564 0.9016 0.8872 0.1185 0.5714 1.0000 0.9138 0.1429
422-AH 0.0051 0.0111 0.0174 0.0455 0.0588 0.0260 0.0194 0.0344 0.0538 0.7440 0.0193 0.0142 0.0167 0.0051 0.0588 0.0260 0.0194
423-AH 0.3000 0.6000 0.6667 0.6905 1.0000 0.6553 0.1864 0.0905 0.7000 0.2844 0.6286 0.5990 0.1243 0.6000 0.7143 0.6514 0.0384
424-AH 0.0306 0.4583 1.0000 1.0000 1.0000 0.7563 0.3974 0.5417 0.9694 0.5255 0.5169 0.2017 0.3351 0.0306 1.0000 0.7563 0.3974
425-AH 0.0240 0.3431 0.5982 0.7500 1.0000 0.5514 0.3003 0.4069 0.9760 0.5446 0.4010 0.1805 0.2338 0.0240 1.0000 0.5514 0.3003
426-AH 0.1579 0.2500 0.3077 0.3810 0.4615 0.3117 0.0932 0.1310 0.3036 0.2989 0.2983 0.2847 0.0739 0.1579 0.4615 0.3117 0.0932
427-AH 0.1754 0.2188 0.3056 0.4226 0.6000 0.3248 0.1286 0.2039 0.4246 0.3960 0.3023 0.2821 0.1075 0.1754 0.6000 0.3248 0.1286
428-AH 0.0208 0.0632 0.0985 0.1640 0.2083 0.1080 0.0593 0.1008 0.1875 0.5489 0.0905 0.0718 0.0509 0.0208 0.2083 0.1080 0.0593
429-AH 0.0151 0.0281 0.1147 0.3413 0.7500 0.1936 0.2086 0.3133 0.7349 1.0776 0.0969 0.0491 0.1642 0.0151 0.7500 0.1936 0.2086
430-AH 0.4167 0.6000 0.6077 0.7500 0.7500 0.6321 0.1148 0.1500 0.3333 0.1816 0.6214 0.6099 0.0927 0.4167 0.7500 0.6321 0.1148
431-AH 0.1154 0.5278 0.6182 0.8167 1.0000 0.6279 0.2781 0.2889 0.8846 0.4429 0.5418 0.4223 0.2120 0.1154 1.0000 0.6279 0.2781
432-AH 0.0123 0.5420 0.5917 1.0000 1.0000 0.7032 0.3039 0.4580 0.9877 0.4321 0.5492 0.1545 0.2597 0.0123 1.0000 0.7032 0.3039
433-AH 0.0370 0.3125 0.5500 1.0000 1.0000 0.6263 0.3664 0.6875 0.9630 0.5850 0.4749 0.2667 0.3270 0.0370 1.0000 0.6263 0.3664
434-AH 0.0000 0.8583 1.0000 1.0000 1.0000 0.8819 0.2609 0.1417 1.0000 0.2958 0.4561 0.0002 0.1668 0.7778 1.0000 0.9639 0.0775
435-AH 0.0148 0.0972 0.1170 0.1357 0.1818 0.1119 0.0442 0.0386 0.1670 0.3947 0.0978 0.0735 0.0320 0.0714 0.1818 0.1246 0.0293
436-AH 0.0041 0.0247 0.2510 0.3810 0.5000 0.2239 0.1828 0.3563 0.4959 0.8165 0.1010 0.0238 0.1623 0.0041 0.5000 0.2239 0.1828
437-AH 0.3333 0.6667 0.9000 1.0000 1.0000 0.7960 0.2427 0.3333 0.6667 0.3048 0.7520 0.6982 0.2045 0.3333 1.0000 0.7960 0.2427
438-AH 0.0769 0.2491 0.6673 0.8258 1.0000 0.5600 0.3062 0.5766 0.9231 0.5468 0.4534 0.3309 0.2745 0.0769 1.0000 0.5600 0.3062
439-AH 0.0093 0.1080 0.1676 0.1852 0.2400 0.1530 0.0617 0.0772 0.2307 0.4033 0.1297 0.0763 0.0482 0.0093 0.2400 0.1530 0.0617
440-AH 0.1739 0.2902 0.3739 0.5278 0.7500 0.4184 0.1685 0.2376 0.5761 0.4027 0.3848 0.3505 0.1409 0.1739 0.7500 0.4184 0.1685
441-AH 0.0263 0.4643 0.9615 1.0000 1.0000 0.7340 0.3888 0.5357 0.9737 0.5297 0.5073 0.2048 0.3197 0.0263 1.0000 0.7340 0.3888
442-AH 0.6500 0.7361 0.7889 0.8167 1.0000 0.7810 0.0853 0.0806 0.3500 0.1092 0.7768 0.7727 0.0617 0.6500 0.8750 0.7664 0.0643
443-AH 0.1818 0.6750 0.8286 1.0000 1.0000 0.7873 0.2573 0.3250 0.8182 0.3268 0.7250 0.6275 0.1964 0.3077 1.0000 0.8277 0.2073
444-AH 0.2857 0.6307 0.8167 1.0000 1.0000 0.8008 0.2255 0.3693 0.7143 0.2816 0.7618 0.7104 0.1784 0.2857 1.0000 0.8008 0.2255
445-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9658 0.0960 0.0000 0.3333 0.0994 0.9604 0.9539 0.0599 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0310 0.1887 0.7143 1.0000 0.3618 0.4016 0.6833 1.0000 1.1101 0.0747 0.0002 0.3275 0.0000 1.0000 0.3618 0.4016
447-AH 0.3333 0.5492 0.6667 1.0000 1.0000 0.7128 0.2199 0.4508 0.6667 0.3085 0.6802 0.6471 0.1842 0.3333 1.0000 0.7128 0.2199
448-AH 0.3333 0.3667 1.0000 1.0000 1.0000 0.7333 0.3162 0.6333 0.6667 0.4312 0.6580 0.5818 0.3000 0.3333 1.0000 0.7333 0.3162
449-AH 0.5000 0.7083 0.8000 1.0000 1.0000 0.8302 0.1710 0.2917 0.5000 0.2059 0.8124 0.7934 0.1486 0.5000 1.0000 0.8302 0.1710
450-AH 0.0037 0.1027 0.3842 0.6125 1.0000 0.3951 0.3074 0.5098 0.9963 0.7779 0.1593 0.0202 0.2392 0.0037 1.0000 0.3951 0.3074
29
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0408 0.1258 0.2265 0.3542 0.6667 0.2493 0.1643 0.2283 0.6259 0.6590 0.1948 0.1411 0.1279 0.0408 0.6667 0.2493 0.1643
402-AH 0.1591 0.5167 0.5609 0.6259 0.8750 0.5404 0.1759 0.1092 0.7159 0.3254 0.5041 0.4541 0.1184 0.5000 0.7273 0.5870 0.0652
403-AH 0.0000 0.0380 0.1338 0.3665 0.7857 0.2525 0.2889 0.3284 0.7857 1.1439 0.0688 0.0002 0.2290 0.0000 0.7857 0.2525 0.2889
404-AH 0.0465 0.0902 0.1073 0.1404 0.2222 0.1133 0.0433 0.0502 0.1757 0.3825 0.1054 0.0971 0.0327 0.0465 0.1500 0.1061 0.0333
405-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9583 0.1139 0.0000 0.3333 0.1188 0.9506 0.9412 0.0729 1.0000 1.0000 1.0000 0.0000
406-AH 0.0186 0.0422 0.0636 0.1488 0.3158 0.1009 0.0849 0.1066 0.2972 0.8415 0.0735 0.0545 0.0677 0.0186 0.2353 0.0866 0.0649
407-AH 0.0093 0.0354 0.2000 0.2500 0.5000 0.1766 0.1591 0.2146 0.4907 0.9011 0.1010 0.0490 0.1263 0.0093 0.5000 0.1766 0.1591
408-AH 0.8889 1.0000 1.0000 1.0000 1.0000 0.9841 0.0367 0.0000 0.1111 0.0373 0.9834 0.9827 0.0259 1.0000 1.0000 1.0000 0.0000
409-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9625 0.1500 0.0000 0.6000 0.1558 0.9443 0.9143 0.0703 1.0000 1.0000 1.0000 0.0000
410-AH 0.3333 0.6667 0.7500 0.8333 0.8750 0.7115 0.1471 0.1667 0.5417 0.2067 0.6929 0.6687 0.1039 0.4375 0.8750 0.7367 0.1108
411-AH 0.0312 0.0823 0.1307 0.3333 1.0000 0.2670 0.3184 0.2510 0.9688 1.1925 0.1546 0.1005 0.2415 0.0312 0.5000 0.1622 0.1499
412-AH 0.0000 0.0334 0.0448 0.0538 0.0755 0.0404 0.0221 0.0204 0.0755 0.5464 0.0145 0.0001 0.0163 0.0058 0.0755 0.0461 0.0166
413-AH 0.2500 0.4018 0.5500 0.6458 1.0000 0.5773 0.2464 0.2440 0.7500 0.4268 0.5291 0.4834 0.1873 0.2500 1.0000 0.5773 0.2464
414-AH 0.0120 0.0874 0.7083 0.8167 1.0000 0.5357 0.3911 0.7292 0.9880 0.7302 0.2354 0.0473 0.3544 0.0120 1.0000 0.5357 0.3911
415-AH 0.0289 0.1443 0.3128 0.4231 0.5517 0.2926 0.1717 0.2788 0.5228 0.5870 0.2139 0.1214 0.1375 0.0289 0.5517 0.2926 0.1717
416-AH 0.1921 0.3047 0.3545 0.3850 0.5238 0.3512 0.0699 0.0804 0.3317 0.1989 0.3443 0.3366 0.0464 0.1921 0.4021 0.3397 0.0544
417-AH 0.1212 0.2917 0.5227 0.6515 0.8000 0.4698 0.2313 0.3598 0.6788 0.4923 0.3992 0.3187 0.1979 0.1212 0.8000 0.4698 0.2313
418-AH 0.5294 0.5786 0.5876 0.6366 0.8750 0.6159 0.0806 0.0581 0.3456 0.1308 0.6116 0.6079 0.0516 0.5294 0.6889 0.5986 0.0429
419-AH 0.0189 0.0563 0.0714 0.0819 0.1176 0.0690 0.0223 0.0256 0.0988 0.3236 0.0647 0.0587 0.0160 0.0189 0.1176 0.0690 0.0223
420-AH 0.8750 0.9000 0.9167 0.9231 1.0000 0.9186 0.0348 0.0231 0.1250 0.0378 0.9180 0.9174 0.0220 0.8750 0.9231 0.9070 0.0151
421-AH 0.5000 0.6667 0.8167 1.0000 1.0000 0.8253 0.1773 0.3333 0.5000 0.2148 0.8060 0.7856 0.1539 0.5000 1.0000 0.8253 0.1773
422-AH 0.0047 0.0090 0.0120 0.0268 0.0588 0.0191 0.0161 0.0178 0.0541 0.8421 0.0144 0.0113 0.0123 0.0047 0.0500 0.0164 0.0125
423-AH 0.3000 0.4233 0.5278 0.6667 0.8333 0.5379 0.1458 0.2434 0.5333 0.2710 0.5192 0.5006 0.1215 0.3000 0.8333 0.5379 0.1458
424-AH 0.0306 0.4583 1.0000 1.0000 1.0000 0.7407 0.3921 0.5417 0.9694 0.5294 0.5077 0.2008 0.3253 0.0306 1.0000 0.7407 0.3921
425-AH 0.0240 0.3015 0.5714 0.6667 0.8333 0.4826 0.2605 0.3652 0.8093 0.5397 0.3292 0.1284 0.2130 0.0240 0.8333 0.4826 0.2605
426-AH 0.0439 0.1195 0.1504 0.2483 0.4615 0.1967 0.1244 0.1288 0.4177 0.6326 0.1661 0.1401 0.0959 0.0439 0.3333 0.1594 0.0765
427-AH 0.1220 0.2188 0.3056 0.4226 0.6000 0.3185 0.1366 0.2039 0.4780 0.4288 0.2907 0.2637 0.1137 0.1220 0.6000 0.3185 0.1366
428-AH 0.0069 0.0582 0.0965 0.1447 0.2083 0.0984 0.0577 0.0866 0.2014 0.5870 0.0767 0.0466 0.0491 0.0069 0.2083 0.0984 0.0577
429-AH 0.0112 0.0218 0.0833 0.1370 0.3333 0.1035 0.0972 0.1152 0.3221 0.9398 0.0626 0.0365 0.0762 0.0112 0.2778 0.0882 0.0781
430-AH 0.0741 0.3091 0.4412 0.6000 0.6667 0.4352 0.1791 0.2909 0.5926 0.4115 0.3861 0.3139 0.1531 0.0741 0.6667 0.4352 0.1791
431-AH 0.0690 0.2977 0.5441 0.6396 0.8000 0.4797 0.2265 0.3419 0.7310 0.4721 0.3961 0.2779 0.1842 0.0690 0.8000 0.4797 0.2265
432-AH 0.0123 0.5192 0.5505 0.5917 1.0000 0.5874 0.2491 0.0724 0.9877 0.4242 0.4700 0.1495 0.1563 0.5000 0.6000 0.5502 0.0316
433-AH 0.0370 0.1893 0.5500 1.0000 1.0000 0.5928 0.3815 0.8107 0.9630 0.6435 0.4198 0.2268 0.3363 0.0370 1.0000 0.5928 0.3815
434-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8676 0.2604 0.2000 1.0000 0.3001 0.4488 0.0002 0.1716 0.6154 1.0000 0.9255 0.1237
435-AH 0.0148 0.0675 0.1094 0.1283 0.1724 0.0981 0.0434 0.0609 0.1576 0.4428 0.0837 0.0626 0.0341 0.0148 0.1724 0.0981 0.0434
436-AH 0.0000 0.0213 0.2051 0.3350 0.4167 0.1961 0.1642 0.3137 0.4167 0.8373 0.0264 0.0001 0.1473 0.0000 0.4167 0.1961 0.1642
437-AH 0.3125 0.4167 0.6061 0.8000 1.0000 0.6085 0.2232 0.3833 0.6875 0.3667 0.5690 0.5308 0.1974 0.3125 1.0000 0.6085 0.2232
438-AH 0.0769 0.2491 0.6631 0.7614 0.8235 0.5197 0.2671 0.5122 0.7466 0.5139 0.4292 0.3208 0.2421 0.0769 0.8235 0.5197 0.2671
439-AH 0.0093 0.0896 0.1424 0.1852 0.2400 0.1410 0.0642 0.0956 0.2307 0.4554 0.1182 0.0720 0.0527 0.0093 0.2400 0.1410 0.0642
440-AH 0.1562 0.2775 0.3561 0.4037 0.6250 0.3640 0.1394 0.1262 0.4688 0.3831 0.3392 0.3145 0.1022 0.1562 0.5556 0.3267 0.1022
441-AH 0.0107 0.4429 0.9615 1.0000 1.0000 0.7270 0.4008 0.5571 0.9893 0.5513 0.4524 0.1117 0.3302 0.0107 1.0000 0.7270 0.4008
442-AH 0.6000 0.6667 0.7247 0.8000 0.8750 0.7331 0.0813 0.1333 0.2750 0.1109 0.7288 0.7246 0.0672 0.6000 0.8750 0.7331 0.0813
443-AH 0.0781 0.4773 0.6833 0.9375 1.0000 0.6864 0.2809 0.4602 0.9219 0.4093 0.5975 0.4395 0.2247 0.0781 1.0000 0.6864 0.2809
444-AH 0.1923 0.6307 0.7208 0.8333 1.0000 0.7050 0.1896 0.2027 0.8077 0.2689 0.6688 0.6099 0.1331 0.4545 1.0000 0.7392 0.1359
445-AH 0.5556 1.0000 1.0000 1.0000 1.0000 0.9432 0.1302 0.0000 0.4444 0.1381 0.9326 0.9192 0.0923 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0145 0.1887 0.7143 1.0000 0.3597 0.4034 0.6998 1.0000 1.1214 0.0706 0.0002 0.3288 0.0000 1.0000 0.3597 0.4034
447-AH 0.3333 0.5492 0.6202 0.7679 1.0000 0.6449 0.1565 0.2187 0.6667 0.2427 0.6266 0.6072 0.1194 0.3333 1.0000 0.6449 0.1565
448-AH 0.3333 0.3667 1.0000 1.0000 1.0000 0.7333 0.3162 0.6333 0.6667 0.4312 0.6580 0.5818 0.3000 0.3333 1.0000 0.7333 0.3162
449-AH 0.1389 0.3327 0.5500 0.6905 1.0000 0.5535 0.2840 0.3578 0.8611 0.5130 0.4739 0.3883 0.2253 0.1389 1.0000 0.5535 0.2840
450-AH 0.0000 0.0694 0.3592 0.5278 0.6429 0.3131 0.2352 0.4584 0.6429 0.7513 0.0408 0.0001 0.1994 0.0000 0.6429 0.3131 0.2352
30
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.1100 0.1442 0.3205 0.5714 0.2021 0.1467 0.2105 0.5500 0.7262 0.1526 0.1041 0.1174 0.0214 0.5714 0.2021 0.1467
402-AH 0.0508 0.3647 0.4545 0.4545 0.5556 0.3778 0.1498 0.0898 0.5048 0.3964 0.3249 0.2384 0.1110 0.3448 0.5556 0.4436 0.0530
403-AH 0.0000 0.0380 0.1088 0.3286 0.7857 0.2202 0.2675 0.2905 0.7857 1.2149 0.0261 0.0001 0.2126 0.0000 0.6923 0.1825 0.2287
404-AH 0.0183 0.0443 0.1073 0.1404 0.1765 0.0990 0.0497 0.0961 0.1581 0.5020 0.0831 0.0646 0.0417 0.0183 0.1765 0.0990 0.0497
405-AH 0.6667 1.0000 1.0000 1.0000 1.0000 0.9583 0.1139 0.0000 0.3333 0.1188 0.9506 0.9412 0.0729 1.0000 1.0000 1.0000 0.0000
406-AH 0.0141 0.0384 0.0588 0.1297 0.3158 0.0925 0.0860 0.0913 0.3017 0.9300 0.0650 0.0476 0.0658 0.0141 0.2353 0.0776 0.0643
407-AH 0.0093 0.0354 0.2000 0.2500 0.5000 0.1766 0.1591 0.2146 0.4907 0.9011 0.1010 0.0490 0.1263 0.0093 0.5000 0.1766 0.1591
408-AH 0.8889 0.9449 1.0000 1.0000 1.0000 0.9733 0.0435 0.0551 0.1111 0.0447 0.9724 0.9714 0.0367 0.8889 1.0000 0.9733 0.0435
409-AH 0.2667 1.0000 1.0000 1.0000 1.0000 0.9452 0.1844 0.0000 0.7333 0.1951 0.9119 0.8458 0.0958 1.0000 1.0000 1.0000 0.0000
410-AH 0.3333 0.6667 0.6905 0.8333 0.8750 0.6929 0.1497 0.1667 0.5417 0.2161 0.6742 0.6510 0.1084 0.4375 0.8750 0.7169 0.1190
411-AH 0.0225 0.0344 0.0537 0.0823 0.1667 0.0659 0.0419 0.0479 0.1442 0.6360 0.0555 0.0476 0.0324 0.0225 0.1364 0.0591 0.0332
412-AH 0.0000 0.0108 0.0382 0.0477 0.0755 0.0335 0.0232 0.0369 0.0755 0.6907 0.0077 0.0001 0.0184 0.0000 0.0755 0.0335 0.0232
413-AH 0.1852 0.3636 0.4722 0.6458 1.0000 0.5203 0.2238 0.2822 0.8148 0.4301 0.4752 0.4307 0.1785 0.1852 1.0000 0.5203 0.2238
414-AH 0.0093 0.0149 0.4568 0.7386 1.0000 0.4113 0.3669 0.7237 0.9907 0.8920 0.1486 0.0323 0.3327 0.0093 1.0000 0.4113 0.3669
415-AH 0.0235 0.1443 0.2484 0.4059 0.5517 0.2643 0.1689 0.2616 0.5282 0.6391 0.1903 0.1073 0.1347 0.0235 0.5517 0.2643 0.1689
416-AH 0.1921 0.2994 0.3489 0.3850 0.4468 0.3390 0.0601 0.0856 0.2547 0.1771 0.3334 0.3270 0.0450 0.1921 0.4468 0.3390 0.0601
417-AH 0.0706 0.1863 0.4208 0.6039 0.8000 0.4122 0.2336 0.4176 0.7294 0.5668 0.3281 0.2350 0.2002 0.0706 0.8000 0.4122 0.2336
418-AH 0.3136 0.5575 0.5817 0.6058 0.6889 0.5722 0.0798 0.0483 0.3753 0.1394 0.5655 0.5566 0.0457 0.5294 0.6429 0.5824 0.0323
419-AH 0.0189 0.0563 0.0714 0.0819 0.1176 0.0690 0.0223 0.0256 0.0988 0.3236 0.0647 0.0587 0.0160 0.0189 0.1176 0.0690 0.0223
420-AH 0.8333 0.8462 0.9167 0.9199 0.9286 0.8893 0.0401 0.0737 0.0952 0.0451 0.8884 0.8876 0.0372 0.8333 0.9286 0.8893 0.0401
421-AH 0.5000 0.5000 0.5714 0.7500 0.8333 0.6278 0.1227 0.2500 0.3333 0.1955 0.6168 0.6064 0.1084 0.5000 0.8333 0.6278 0.1227
422-AH 0.0047 0.0068 0.0100 0.0177 0.0500 0.0145 0.0123 0.0109 0.0453 0.8462 0.0113 0.0094 0.0091 0.0047 0.0306 0.0121 0.0081
423-AH 0.3000 0.4233 0.5278 0.6515 0.8333 0.5295 0.1509 0.2282 0.5333 0.2850 0.5089 0.4881 0.1241 0.3000 0.8333 0.5295 0.1509
424-AH 0.0306 0.4583 1.0000 1.0000 1.0000 0.7407 0.3921 0.5417 0.9694 0.5294 0.5077 0.2008 0.3253 0.0306 1.0000 0.7407 0.3921
425-AH 0.0189 0.2629 0.3987 0.5727 0.7000 0.3934 0.2249 0.3098 0.6811 0.5717 0.2713 0.1124 0.1876 0.0189 0.7000 0.3934 0.2249
426-AH 0.0229 0.1045 0.1215 0.1365 0.2727 0.1224 0.0503 0.0321 0.2499 0.4108 0.1114 0.0947 0.0295 0.0806 0.1455 0.1187 0.0200
427-AH 0.1220 0.2129 0.3056 0.3709 0.6000 0.3037 0.1258 0.1580 0.4780 0.4144 0.2797 0.2566 0.1013 0.1220 0.6000 0.3037 0.1258
428-AH 0.0000 0.0319 0.0745 0.1198 0.2083 0.0813 0.0583 0.0879 0.2083 0.7166 0.0386 0.0002 0.0475 0.0000 0.2083 0.0813 0.0583
429-AH 0.0097 0.0186 0.0705 0.1187 0.3077 0.0825 0.0781 0.1001 0.2980 0.9463 0.0523 0.0322 0.0569 0.0097 0.1667 0.0675 0.0516
430-AH 0.0704 0.2309 0.3600 0.5432 0.6667 0.3829 0.1827 0.3122 0.5962 0.4772 0.3301 0.2646 0.1534 0.0704 0.6667 0.3829 0.1827
431-AH 0.0263 0.2000 0.4424 0.5691 0.6429 0.3978 0.2123 0.3691 0.6166 0.5337 0.3040 0.1713 0.1738 0.0263 0.6429 0.3978 0.2123
432-AH 0.0123 0.5000 0.5455 0.5694 0.6000 0.4820 0.1715 0.0694 0.5877 0.3559 0.3849 0.1371 0.1108 0.4444 0.6000 0.5426 0.0442
433-AH 0.0370 0.1893 0.5000 0.7500 1.0000 0.4992 0.3345 0.5607 0.9630 0.6701 0.3623 0.2135 0.2755 0.0370 1.0000 0.4992 0.3345
434-AH 0.0000 0.7386 1.0000 1.0000 1.0000 0.8199 0.3080 0.2614 1.0000 0.3756 0.4080 0.0002 0.2294 0.5652 1.0000 0.9212 0.1386
435-AH 0.0148 0.0566 0.0985 0.1232 0.1724 0.0919 0.0437 0.0666 0.1576 0.4761 0.0779 0.0592 0.0353 0.0148 0.1724 0.0919 0.0437
436-AH 0.0000 0.0150 0.1972 0.3288 0.4062 0.1798 0.1513 0.3138 0.4062 0.8416 0.0162 0.0000 0.1326 0.0000 0.4062 0.1798 0.1513
437-AH 0.2258 0.3529 0.5455 0.7639 1.0000 0.5607 0.2395 0.4109 0.7742 0.4271 0.5103 0.4607 0.1999 0.2258 1.0000 0.5607 0.2395
438-AH 0.0769 0.2491 0.6239 0.6963 0.7419 0.4892 0.2417 0.4472 0.6650 0.4940 0.4091 0.3107 0.2179 0.0769 0.7419 0.4892 0.2417
439-AH 0.0000 0.0833 0.1308 0.1667 0.2400 0.1209 0.0640 0.0833 0.2400 0.5294 0.0615 0.0002 0.0517 0.0000 0.2400 0.1209 0.0640
440-AH 0.1127 0.2374 0.3270 0.3897 0.5333 0.3119 0.1213 0.1523 0.4207 0.3891 0.2850 0.2539 0.0966 0.1127 0.5333 0.3119 0.1213
441-AH 0.0080 0.4316 0.9060 1.0000 1.0000 0.7125 0.3998 0.5684 0.9920 0.5612 0.4255 0.0887 0.3282 0.0080 1.0000 0.7125 0.3998
442-AH 0.6000 0.6485 0.7247 0.7889 0.8750 0.7222 0.0815 0.1404 0.2750 0.1129 0.7179 0.7136 0.0686 0.6000 0.8750 0.7222 0.0815
443-AH 0.0729 0.2937 0.5917 0.6833 1.0000 0.5317 0.2754 0.3896 0.9271 0.5179 0.4398 0.3241 0.2268 0.0729 1.0000 0.5317 0.2754
444-AH 0.1875 0.4688 0.6364 0.7136 0.7778 0.5785 0.1921 0.2449 0.5903 0.3320 0.5365 0.4802 0.1524 0.1875 0.7778 0.5785 0.1921
445-AH 0.5556 0.8095 1.0000 1.0000 1.0000 0.8844 0.1573 0.1905 0.4444 0.1778 0.8692 0.8515 0.1300 0.5556 1.0000 0.8844 0.1573
446-AH 0.0000 0.0081 0.1471 0.2821 1.0000 0.2404 0.3217 0.2739 1.0000 1.3380 0.0238 0.0001 0.2250 0.0000 0.4286 0.1319 0.1340
447-AH 0.1429 0.5409 0.6018 0.7500 0.7857 0.6099 0.1602 0.2091 0.6429 0.2626 0.5769 0.5165 0.1139 0.5000 0.7857 0.6410 0.1043
448-AH 0.3333 0.3667 1.0000 1.0000 1.0000 0.7333 0.3162 0.6333 0.6667 0.4312 0.6580 0.5818 0.3000 0.3333 1.0000 0.7333 0.3162
449-AH 0.1333 0.1754 0.3611 0.4521 0.7000 0.3520 0.1755 0.2766 0.5667 0.4988 0.3093 0.2692 0.1443 0.1333 0.7000 0.3520 0.1755
450-AH 0.0000 0.0398 0.3592 0.4734 0.6429 0.2990 0.2310 0.4336 0.6429 0.7725 0.0255 0.0000 0.1971 0.0000 0.6429 0.2990 0.2310
31
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.0769 0.1106 0.2154 0.5714 0.1576 0.1364 0.1385 0.5500 0.8658 0.1162 0.0843 0.0977 0.0214 0.3077 0.1300 0.0830
402-AH 0.0367 0.1961 0.3137 0.3943 0.4848 0.2854 0.1444 0.1982 0.4481 0.5062 0.2246 0.1440 0.1160 0.0367 0.4848 0.2854 0.1444
403-AH 0.0000 0.0321 0.0966 0.3182 0.7500 0.2025 0.2491 0.2861 0.7500 1.2304 0.0241 0.0001 0.1996 0.0000 0.6316 0.1660 0.2089
404-AH 0.0183 0.0348 0.0589 0.1197 0.1500 0.0751 0.0464 0.0849 0.1317 0.6177 0.0615 0.0498 0.0402 0.0183 0.1500 0.0751 0.0464
405-AH 0.6250 0.8167 1.0000 1.0000 1.0000 0.8990 0.1471 0.1833 0.3750 0.1636 0.8862 0.8719 0.1263 0.6250 1.0000 0.8990 0.1471
406-AH 0.0080 0.0251 0.0577 0.1100 0.3158 0.0810 0.0812 0.0848 0.3078 1.0035 0.0506 0.0302 0.0589 0.0080 0.1786 0.0653 0.0536
407-AH 0.0032 0.0108 0.0234 0.0389 0.1000 0.0282 0.0247 0.0281 0.0968 0.8758 0.0203 0.0142 0.0176 0.0032 0.0556 0.0234 0.0162
408-AH 0.4000 0.8974 1.0000 1.0000 1.0000 0.9305 0.1488 0.1026 0.6000 0.1599 0.9130 0.8856 0.0850 0.8889 1.0000 0.9658 0.0477
409-AH 0.2667 1.0000 1.0000 1.0000 1.0000 0.9374 0.1846 0.0000 0.7333 0.1969 0.9043 0.8395 0.1017 1.0000 1.0000 1.0000 0.0000
410-AH 0.3333 0.5556 0.6905 0.8333 0.8750 0.6697 0.1618 0.2778 0.5417 0.2416 0.6487 0.6249 0.1317 0.3333 0.8750 0.6697 0.1618
411-AH 0.0225 0.0344 0.0537 0.0823 0.1667 0.0659 0.0419 0.0479 0.1442 0.6360 0.0555 0.0476 0.0324 0.0225 0.1364 0.0591 0.0332
412-AH 0.0000 0.0108 0.0348 0.0458 0.0568 0.0298 0.0200 0.0350 0.0568 0.6715 0.0071 0.0001 0.0169 0.0000 0.0568 0.0298 0.0200
413-AH 0.1852 0.2899 0.4006 0.6250 0.8333 0.4515 0.2050 0.3351 0.6481 0.4541 0.4106 0.3744 0.1723 0.1852 0.8333 0.4515 0.2050
414-AH 0.0000 0.0060 0.2481 0.5750 0.9167 0.3150 0.3196 0.5690 0.9167 1.0146 0.0193 0.0000 0.2774 0.0000 0.9167 0.3150 0.3196
415-AH 0.0197 0.1168 0.2323 0.4059 0.5263 0.2415 0.1618 0.2891 0.5066 0.6701 0.1698 0.0946 0.1379 0.0197 0.5263 0.2415 0.1618
416-AH 0.1921 0.2994 0.3238 0.3771 0.4021 0.3279 0.0540 0.0778 0.2099 0.1646 0.3232 0.3178 0.0416 0.1921 0.4021 0.3279 0.0540
417-AH 0.0186 0.1577 0.3138 0.5210 0.8000 0.3375 0.2263 0.3633 0.7814 0.6706 0.2425 0.1289 0.1764 0.0186 0.8000 0.3375 0.2263
418-AH 0.3136 0.5474 0.5786 0.6058 0.6889 0.5692 0.0802 0.0584 0.3753 0.1410 0.5624 0.5535 0.0478 0.5294 0.6889 0.5862 0.0438
419-AH 0.0189 0.0563 0.0714 0.0819 0.1176 0.0690 0.0223 0.0256 0.0988 0.3236 0.0647 0.0587 0.0160 0.0189 0.1176 0.0690 0.0223
420-AH 0.3750 0.7222 0.7574 0.7947 0.9286 0.7375 0.1222 0.0725 0.5536 0.1657 0.7253 0.7093 0.0755 0.6842 0.8667 0.7620 0.0474
421-AH 0.4000 0.5000 0.5714 0.6458 0.8333 0.5857 0.1225 0.1458 0.4333 0.2092 0.5744 0.5637 0.0933 0.4000 0.8333 0.5857 0.1225
422-AH 0.0000 0.0051 0.0068 0.0128 0.0212 0.0084 0.0064 0.0077 0.0212 0.7558 0.0026 0.0001 0.0049 0.0000 0.0212 0.0084 0.0064
423-AH 0.0957 0.3787 0.4164 0.4853 0.6364 0.4077 0.1304 0.1066 0.5407 0.3198 0.3788 0.3335 0.0898 0.2258 0.6364 0.4285 0.1039
424-AH 0.0306 0.2857 0.7500 1.0000 1.0000 0.6455 0.3792 0.7143 0.9694 0.5876 0.4292 0.1805 0.3182 0.0306 1.0000 0.6455 0.3792
425-AH 0.0189 0.1595 0.2779 0.5000 0.7000 0.3254 0.2114 0.3405 0.6811 0.6498 0.2191 0.1018 0.1792 0.0189 0.7000 0.3254 0.2114
426-AH 0.0229 0.1045 0.1170 0.1302 0.2632 0.1180 0.0481 0.0257 0.2403 0.4077 0.1077 0.0922 0.0272 0.0763 0.1351 0.1144 0.0184
427-AH 0.0897 0.1863 0.2396 0.3515 0.6000 0.2848 0.1313 0.1651 0.5103 0.4609 0.2575 0.2308 0.1061 0.0897 0.4615 0.2638 0.1044
428-AH 0.0000 0.0313 0.0686 0.1150 0.2083 0.0736 0.0575 0.0837 0.2083 0.7819 0.0222 0.0001 0.0462 0.0000 0.2083 0.0736 0.0575
429-AH 0.0000 0.0104 0.0630 0.0840 0.2683 0.0614 0.0657 0.0736 0.2683 1.0693 0.0242 0.0002 0.0451 0.0000 0.0957 0.0476 0.0369
430-AH 0.0190 0.1390 0.2736 0.5108 0.6667 0.3111 0.2018 0.3718 0.6476 0.6485 0.2299 0.1302 0.1709 0.0190 0.6667 0.3111 0.2018
431-AH 0.0263 0.1612 0.4028 0.5164 0.6364 0.3594 0.1994 0.3552 0.6101 0.5549 0.2733 0.1594 0.1651 0.0263 0.6364 0.3594 0.1994
432-AH 0.0123 0.5000 0.5455 0.5694 0.6000 0.4820 0.1715 0.0694 0.5877 0.3559 0.3849 0.1371 0.1108 0.4444 0.6000 0.5426 0.0442
433-AH 0.0309 0.1775 0.3958 0.6250 1.0000 0.4111 0.2818 0.4475 0.9691 0.6855 0.2947 0.1696 0.2252 0.0309 1.0000 0.4111 0.2818
434-AH 0.0000 0.7386 1.0000 1.0000 1.0000 0.8189 0.3089 0.2614 1.0000 0.3773 0.4072 0.0002 0.2308 0.5484 1.0000 0.9200 0.1420
435-AH 0.0146 0.0437 0.0935 0.1193 0.1724 0.0866 0.0463 0.0756 0.1578 0.5352 0.0710 0.0532 0.0389 0.0146 0.1724 0.0866 0.0463
436-AH 0.0000 0.0111 0.1912 0.3161 0.3556 0.1695 0.1418 0.3050 0.3556 0.8364 0.0152 0.0000 0.1241 0.0000 0.3556 0.1695 0.1418
437-AH 0.1860 0.2852 0.4667 0.6410 0.8750 0.4686 0.2127 0.3559 0.6890 0.4538 0.4226 0.3792 0.1741 0.1860 0.8750 0.4686 0.2127
438-AH 0.0769 0.2321 0.5725 0.6745 0.6944 0.4571 0.2301 0.4423 0.6175 0.5035 0.3824 0.2940 0.2107 0.0769 0.6944 0.4571 0.2301
439-AH 0.0000 0.0399 0.1096 0.1667 0.2326 0.1061 0.0760 0.1268 0.2326 0.7158 0.0124 0.0000 0.0640 0.0000 0.2326 0.1061 0.0760
440-AH 0.0690 0.2016 0.3003 0.3621 0.4545 0.2771 0.1122 0.1605 0.3856 0.4050 0.2495 0.2148 0.0925 0.0690 0.4545 0.2771 0.1122
441-AH 0.0000 0.1593 0.8397 1.0000 1.0000 0.6397 0.4040 0.8407 1.0000 0.6315 0.2456 0.0002 0.3582 0.0000 1.0000 0.6397 0.4040
442-AH 0.2500 0.5778 0.6583 0.7434 0.8182 0.6418 0.1367 0.1656 0.5682 0.2130 0.6229 0.5954 0.0975 0.5172 0.8182 0.6679 0.0913
443-AH 0.0209 0.1559 0.4375 0.6181 0.7500 0.3987 0.2504 0.4621 0.7291 0.6279 0.2843 0.1469 0.2182 0.0209 0.7500 0.3987 0.2504
444-AH 0.1875 0.3606 0.4500 0.5625 0.6875 0.4469 0.1420 0.2019 0.5000 0.3177 0.4220 0.3931 0.1128 0.1875 0.6875 0.4469 0.1420
445-AH 0.4000 0.6964 0.8095 1.0000 1.0000 0.7967 0.1849 0.3036 0.6000 0.2321 0.7734 0.7466 0.1438 0.4000 1.0000 0.7967 0.1849
446-AH 0.0000 0.0077 0.0995 0.1835 0.8000 0.1686 0.2332 0.1758 0.8000 1.3835 0.0186 0.0001 0.1485 0.0000 0.1923 0.0879 0.0775
447-AH 0.1429 0.5409 0.6018 0.6795 0.7857 0.5948 0.1468 0.1386 0.6429 0.2468 0.5651 0.5090 0.0987 0.5000 0.7857 0.6249 0.0867
448-AH 0.2500 0.3667 0.7500 1.0000 1.0000 0.6909 0.3275 0.6333 0.7500 0.4740 0.6071 0.5246 0.3091 0.2500 1.0000 0.6909 0.3275
449-AH 0.0261 0.1031 0.2114 0.3333 0.5000 0.2192 0.1371 0.2302 0.4739 0.6253 0.1717 0.1218 0.1223 0.0261 0.5000 0.2192 0.1371
450-AH 0.0000 0.0398 0.1975 0.4368 0.6429 0.2517 0.2180 0.3970 0.6429 0.8660 0.0219 0.0000 0.1834 0.0000 0.6429 0.2517 0.2180
32
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.0684 0.0959 0.1250 0.2632 0.1043 0.0644 0.0566 0.2417 0.6174 0.0879 0.0725 0.0454 0.0214 0.1364 0.0839 0.0341
402-AH 0.0235 0.1015 0.2242 0.3596 0.4848 0.2232 0.1517 0.2581 0.4613 0.6796 0.1558 0.0870 0.1234 0.0235 0.4848 0.2232 0.1517
403-AH 0.0000 0.0185 0.0736 0.2527 0.6957 0.1733 0.2216 0.2342 0.6957 1.2789 0.0133 0.0000 0.1738 0.0000 0.5556 0.1384 0.1784
404-AH 0.0060 0.0171 0.0277 0.0835 0.1500 0.0507 0.0514 0.0665 0.1440 1.0144 0.0319 0.0212 0.0421 0.0060 0.1500 0.0507 0.0514
405-AH 0.6250 0.8167 1.0000 1.0000 1.0000 0.8990 0.1471 0.1833 0.3750 0.1636 0.8862 0.8719 0.1263 0.6250 1.0000 0.8990 0.1471
406-AH 0.0000 0.0195 0.0577 0.0824 0.3158 0.0688 0.0770 0.0629 0.3158 1.1201 0.0183 0.0001 0.0480 0.0000 0.1500 0.0523 0.0413
407-AH 0.0032 0.0108 0.0234 0.0389 0.1000 0.0282 0.0247 0.0281 0.0968 0.8758 0.0203 0.0142 0.0176 0.0032 0.0556 0.0234 0.0162
408-AH 0.2661 0.8567 0.9592 1.0000 1.0000 0.9037 0.1830 0.1433 0.7339 0.2025 0.8718 0.8122 0.1116 0.8125 1.0000 0.9462 0.0700
409-AH 0.0725 0.8571 0.8750 1.0000 1.0000 0.8581 0.2190 0.1429 0.9275 0.2553 0.7755 0.5271 0.0989 0.8571 1.0000 0.9104 0.0662
410-AH 0.2857 0.5359 0.6667 0.7500 0.8750 0.6365 0.1590 0.2141 0.5893 0.2497 0.6146 0.5886 0.1265 0.2857 0.8750 0.6365 0.1590
411-AH 0.0000 0.0203 0.0347 0.0823 0.1364 0.0540 0.0443 0.0621 0.1364 0.8200 0.0234 0.0002 0.0373 0.0000 0.1364 0.0540 0.0443
412-AH 0.0000 0.0079 0.0284 0.0395 0.0561 0.0258 0.0183 0.0316 0.0561 0.7118 0.0043 0.0000 0.0152 0.0000 0.0561 0.0258 0.0183
413-AH 0.0526 0.1519 0.2087 0.2857 0.6000 0.2560 0.1718 0.1338 0.5474 0.6710 0.2013 0.1496 0.1279 0.0526 0.2857 0.1850 0.0872
414-AH 0.0000 0.0000 0.0676 0.5528 0.9167 0.2442 0.3146 0.5528 0.9167 1.2884 0.0050 0.0000 0.2694 0.0000 0.9167 0.2442 0.3146
415-AH 0.0000 0.1109 0.1872 0.3970 0.4906 0.2229 0.1617 0.2861 0.4906 0.7251 0.0948 0.0002 0.1378 0.0000 0.4906 0.2229 0.1617
416-AH 0.1921 0.2926 0.3220 0.3771 0.4021 0.3242 0.0567 0.0845 0.2099 0.1750 0.3191 0.3133 0.0453 0.1921 0.4021 0.3242 0.0567
417-AH 0.0186 0.1125 0.2752 0.4524 0.6429 0.2888 0.1942 0.3399 0.6243 0.6724 0.2060 0.1129 0.1552 0.0186 0.6429 0.2888 0.1942
418-AH 0.3136 0.5438 0.5774 0.6040 0.6889 0.5649 0.0804 0.0603 0.3753 0.1423 0.5582 0.5494 0.0489 0.5079 0.6889 0.5817 0.0460
419-AH 0.0189 0.0563 0.0714 0.0819 0.1176 0.0690 0.0223 0.0256 0.0988 0.3236 0.0647 0.0587 0.0160 0.0189 0.1176 0.0690 0.0223
420-AH 0.3636 0.5330 0.6667 0.7115 0.8000 0.6304 0.1274 0.1785 0.4364 0.2020 0.6170 0.6020 0.1035 0.3636 0.8000 0.6304 0.1274
421-AH 0.4000 0.5000 0.5714 0.6458 0.8333 0.5857 0.1225 0.1458 0.4333 0.2092 0.5744 0.5637 0.0933 0.4000 0.8333 0.5857 0.1225
422-AH 0.0000 0.0051 0.0068 0.0128 0.0212 0.0084 0.0064 0.0077 0.0212 0.7558 0.0026 0.0001 0.0049 0.0000 0.0212 0.0084 0.0064
423-AH 0.0957 0.2611 0.3636 0.4151 0.5000 0.3427 0.1115 0.1540 0.4043 0.3254 0.3198 0.2882 0.0869 0.0957 0.5000 0.3427 0.1115
424-AH 0.0306 0.2857 0.7500 1.0000 1.0000 0.6455 0.3792 0.7143 0.9694 0.5876 0.4292 0.1805 0.3182 0.0306 1.0000 0.6455 0.3792
425-AH 0.0181 0.0769 0.2106 0.4393 0.5000 0.2391 0.1763 0.3624 0.4819 0.7372 0.1580 0.0838 0.1503 0.0181 0.5000 0.2391 0.1763
426-AH 0.0229 0.0775 0.1009 0.1215 0.1739 0.1001 0.0345 0.0439 0.1510 0.3446 0.0926 0.0815 0.0256 0.0229 0.1739 0.1001 0.0345
427-AH 0.0897 0.1847 0.2316 0.3013 0.4118 0.2468 0.0869 0.1166 0.3221 0.3523 0.2317 0.2153 0.0657 0.0897 0.4118 0.2468 0.0869
428-AH 0.0000 0.0296 0.0479 0.1047 0.2083 0.0670 0.0578 0.0751 0.2083 0.8622 0.0198 0.0001 0.0465 0.0000 0.2083 0.0670 0.0578
429-AH 0.0000 0.0000 0.0443 0.0736 0.2683 0.0515 0.0664 0.0736 0.2683 1.2888 0.0038 0.0000 0.0432 0.0000 0.0822 0.0371 0.0338
430-AH 0.0000 0.1055 0.2052 0.3267 0.4545 0.2107 0.1382 0.2212 0.4545 0.6557 0.0591 0.0001 0.1174 0.0000 0.4545 0.2107 0.1382
431-AH 0.0223 0.1348 0.3950 0.4620 0.6364 0.3229 0.1899 0.3272 0.6141 0.5881 0.2414 0.1390 0.1636 0.0223 0.6364 0.3229 0.1899
432-AH 0.0100 0.5000 0.5455 0.5556 0.6000 0.4784 0.1700 0.0556 0.5900 0.3553 0.3776 0.1174 0.1098 0.4444 0.6000 0.5388 0.0410
433-AH 0.0279 0.1287 0.2511 0.3875 0.6364 0.2755 0.1771 0.2588 0.6085 0.6428 0.2076 0.1341 0.1440 0.0279 0.6364 0.2755 0.1771
434-AH 0.0000 0.6954 1.0000 1.0000 1.0000 0.8059 0.3144 0.3046 1.0000 0.3902 0.3992 0.0002 0.2425 0.4762 1.0000 0.9052 0.1653
435-AH 0.0146 0.0437 0.0706 0.1193 0.1667 0.0794 0.0466 0.0756 0.1521 0.5871 0.0632 0.0457 0.0391 0.0146 0.1667 0.0794 0.0466
436-AH 0.0000 0.0000 0.1780 0.2907 0.3433 0.1567 0.1365 0.2907 0.3433 0.8712 0.0055 0.0000 0.1188 0.0000 0.3433 0.1567 0.1365
437-AH 0.0698 0.2307 0.2952 0.5278 0.6923 0.3503 0.1972 0.2971 0.6225 0.5628 0.2947 0.2375 0.1644 0.0698 0.6923 0.3503 0.1972
438-AH 0.0769 0.2175 0.5251 0.6338 0.6889 0.4319 0.2183 0.4164 0.6120 0.5055 0.3612 0.2784 0.1964 0.0769 0.6889 0.4319 0.2183
439-AH 0.0000 0.0377 0.1058 0.1587 0.2326 0.1035 0.0749 0.1210 0.2326 0.7234 0.0121 0.0000 0.0633 0.0000 0.2326 0.1035 0.0749
440-AH 0.0688 0.1540 0.2504 0.3615 0.4074 0.2473 0.1162 0.2075 0.3387 0.4699 0.2171 0.1844 0.0972 0.0688 0.4074 0.2473 0.1162
441-AH 0.0000 0.1083 0.8397 0.9167 1.0000 0.6090 0.3931 0.8084 1.0000 0.6455 0.2252 0.0002 0.3506 0.0000 1.0000 0.6090 0.3931
442-AH 0.1562 0.5195 0.6417 0.7049 0.7500 0.5943 0.1527 0.1854 0.5938 0.2570 0.5644 0.5131 0.1104 0.3929 0.7500 0.6235 0.1019
443-AH 0.0122 0.1198 0.3246 0.5560 0.7500 0.3304 0.2274 0.4362 0.7378 0.6883 0.2194 0.0923 0.1868 0.0122 0.7500 0.3304 0.2274
444-AH 0.1111 0.2937 0.3772 0.4338 0.6875 0.3680 0.1453 0.1401 0.5764 0.3950 0.3356 0.2957 0.1032 0.1111 0.5500 0.3467 0.1219
445-AH 0.1795 0.6131 0.7817 0.9167 1.0000 0.7373 0.2362 0.3036 0.8205 0.3204 0.6848 0.6044 0.1817 0.1795 1.0000 0.7373 0.2362
446-AH 0.0000 0.0046 0.0954 0.1759 0.3571 0.1122 0.1169 0.1714 0.3571 1.0417 0.0104 0.0000 0.0910 0.0000 0.3571 0.1122 0.1169
447-AH 0.1429 0.5374 0.5882 0.6548 0.7857 0.5809 0.1400 0.1174 0.6429 0.2410 0.5531 0.5006 0.0867 0.5000 0.7857 0.6101 0.0799
448-AH 0.2500 0.3667 0.7500 1.0000 1.0000 0.6909 0.3275 0.6333 0.7500 0.4740 0.6071 0.5246 0.3091 0.2500 1.0000 0.6909 0.3275
449-AH 0.0261 0.0755 0.1521 0.2672 0.3500 0.1737 0.1108 0.1917 0.3239 0.6380 0.1359 0.1005 0.1003 0.0261 0.3500 0.1737 0.1108
450-AH 0.0000 0.0327 0.1718 0.2075 0.4000 0.1522 0.1157 0.1747 0.4000 0.7604 0.0160 0.0000 0.0890 0.0000 0.4000 0.1522 0.1157
33
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.0658 0.0935 0.1170 0.2308 0.0967 0.0544 0.0513 0.2094 0.5626 0.0829 0.0690 0.0391 0.0214 0.1875 0.0877 0.0424
402-AH 0.0000 0.0512 0.1329 0.2469 0.3846 0.1533 0.1214 0.1957 0.3846 0.7917 0.0645 0.0002 0.1005 0.0000 0.3846 0.1533 0.1214
403-AH 0.0000 0.0144 0.0457 0.1943 0.5806 0.1462 0.1956 0.1799 0.5806 1.3374 0.0109 0.0000 0.1514 0.0000 0.2500 0.0611 0.0729
404-AH 0.0000 0.0111 0.0190 0.0695 0.1500 0.0421 0.0505 0.0584 0.1500 1.1985 0.0107 0.0001 0.0413 0.0000 0.1500 0.0421 0.0505
405-AH 0.5556 0.7333 0.8333 1.0000 1.0000 0.8462 0.1606 0.2667 0.4444 0.1898 0.8307 0.8142 0.1346 0.5556 1.0000 0.8462 0.1606
406-AH 0.0000 0.0175 0.0555 0.0811 0.2258 0.0588 0.0550 0.0636 0.2258 0.9358 0.0169 0.0001 0.0367 0.0000 0.0986 0.0477 0.0335
407-AH 0.0032 0.0108 0.0234 0.0389 0.1000 0.0282 0.0247 0.0281 0.0968 0.8758 0.0203 0.0142 0.0176 0.0032 0.0556 0.0234 0.0162
408-AH 0.2661 0.8180 0.9146 0.9455 1.0000 0.8567 0.1720 0.1275 0.7339 0.2008 0.8282 0.7766 0.1039 0.7500 1.0000 0.8960 0.0716
409-AH 0.0680 0.8571 0.8750 0.8889 1.0000 0.8439 0.2137 0.0317 0.9320 0.2533 0.7611 0.5076 0.0970 0.8571 0.8889 0.8695 0.0139
410-AH 0.0960 0.3844 0.4853 0.6154 0.6923 0.4703 0.1708 0.2309 0.5963 0.3632 0.4273 0.3619 0.1285 0.0960 0.6923 0.4703 0.1708
411-AH 0.0000 0.0203 0.0347 0.0823 0.1364 0.0540 0.0443 0.0621 0.1364 0.8200 0.0234 0.0002 0.0373 0.0000 0.1364 0.0540 0.0443
412-AH 0.0000 0.0000 0.0122 0.0203 0.0342 0.0119 0.0104 0.0203 0.0342 0.8685 0.0016 0.0000 0.0085 0.0000 0.0342 0.0119 0.0104
413-AH 0.0275 0.0807 0.1708 0.2053 0.2800 0.1527 0.0782 0.1246 0.2525 0.5122 0.1254 0.0924 0.0634 0.0275 0.2800 0.1527 0.0782
414-AH 0.0000 0.0000 0.0518 0.5327 0.8750 0.2335 0.3043 0.5327 0.8750 1.3034 0.0047 0.0000 0.2628 0.0000 0.8750 0.2335 0.3043
415-AH 0.0000 0.0812 0.1531 0.3597 0.4839 0.1975 0.1588 0.2785 0.4839 0.8042 0.0316 0.0001 0.1368 0.0000 0.4839 0.1975 0.1588
416-AH 0.1921 0.2917 0.3209 0.3542 0.4021 0.3129 0.0609 0.0626 0.2099 0.1945 0.3066 0.2996 0.0469 0.2086 0.4021 0.3209 0.0535
417-AH 0.0132 0.1125 0.1967 0.2993 0.5000 0.2120 0.1398 0.1868 0.4868 0.6593 0.1562 0.0861 0.1081 0.0132 0.5000 0.2120 0.1398
418-AH 0.3136 0.5362 0.5679 0.5801 0.6786 0.5558 0.0780 0.0439 0.3650 0.1404 0.5494 0.5412 0.0468 0.5000 0.6429 0.5643 0.0357
419-AH 0.0185 0.0251 0.0548 0.0755 0.1176 0.0551 0.0295 0.0504 0.0991 0.5359 0.0470 0.0392 0.0231 0.0185 0.1176 0.0551 0.0295
420-AH 0.1885 0.4082 0.5278 0.5982 0.8000 0.5098 0.1507 0.1900 0.6115 0.2957 0.4850 0.4544 0.1154 0.1885 0.8000 0.5098 0.1507
421-AH 0.0495 0.3394 0.5227 0.6250 0.8333 0.4897 0.2095 0.2856 0.7838 0.4277 0.4207 0.2974 0.1616 0.0495 0.8333 0.4897 0.2095
422-AH 0.0000 0.0000 0.0000 0.0056 0.0115 0.0025 0.0036 0.0056 0.0115 1.4388 0.0001 0.0000 0.0032 0.0000 0.0115 0.0025 0.0036
423-AH 0.0957 0.1963 0.2703 0.2778 0.3125 0.2353 0.0621 0.0815 0.2168 0.2638 0.2255 0.2132 0.0528 0.0957 0.3125 0.2353 0.0621
424-AH 0.0237 0.2185 0.4722 0.5357 0.6667 0.3934 0.2150 0.3172 0.6430 0.5465 0.2789 0.1306 0.1766 0.0237 0.6667 0.3934 0.2150
425-AH 0.0000 0.0570 0.1935 0.2850 0.4583 0.1830 0.1474 0.2281 0.4583 0.8057 0.0724 0.0002 0.1202 0.0000 0.4583 0.1830 0.1474
426-AH 0.0213 0.0659 0.0811 0.1092 0.1261 0.0826 0.0295 0.0433 0.1047 0.3570 0.0763 0.0677 0.0232 0.0213 0.1261 0.0826 0.0295
427-AH 0.0897 0.1803 0.2149 0.2316 0.3333 0.2145 0.0609 0.0513 0.2437 0.2841 0.2056 0.1953 0.0423 0.1429 0.2647 0.2068 0.0339
428-AH 0.0000 0.0229 0.0344 0.0890 0.1719 0.0543 0.0502 0.0661 0.1719 0.9236 0.0106 0.0001 0.0409 0.0000 0.1719 0.0543 0.0502
429-AH 0.0000 0.0000 0.0297 0.0655 0.1831 0.0391 0.0481 0.0655 0.1831 1.2298 0.0021 0.0000 0.0347 0.0000 0.0757 0.0295 0.0299
430-AH 0.0000 0.0630 0.1587 0.2435 0.3115 0.1528 0.1082 0.1805 0.3115 0.7082 0.0266 0.0001 0.0910 0.0000 0.3115 0.1528 0.1082
431-AH 0.0000 0.0975 0.3339 0.4268 0.5000 0.2763 0.1797 0.3293 0.5000 0.6504 0.1182 0.0002 0.1594 0.0000 0.5000 0.2763 0.1797
432-AH 0.0000 0.5000 0.5455 0.5556 0.6000 0.4710 0.1865 0.0556 0.6000 0.3959 0.2115 0.0002 0.1218 0.4286 0.6000 0.5376 0.0439
433-AH 0.0279 0.0974 0.1250 0.1752 0.3200 0.1447 0.0818 0.0779 0.2921 0.5653 0.1230 0.1002 0.0604 0.0279 0.2162 0.1205 0.0518
434-AH 0.0000 0.6276 0.9060 0.9615 1.0000 0.7627 0.3009 0.3339 1.0000 0.3945 0.3794 0.0002 0.2345 0.2222 1.0000 0.8136 0.2295
435-AH 0.0130 0.0334 0.0588 0.0814 0.1642 0.0617 0.0404 0.0480 0.1512 0.6542 0.0490 0.0368 0.0291 0.0130 0.1159 0.0548 0.0307
436-AH 0.0000 0.0000 0.1698 0.2632 0.3429 0.1490 0.1303 0.2632 0.3429 0.8739 0.0053 0.0000 0.1121 0.0000 0.3429 0.1490 0.1303
437-AH 0.0491 0.1971 0.2318 0.3238 0.6667 0.2814 0.1772 0.1267 0.6176 0.6297 0.2272 0.1697 0.1306 0.0491 0.5000 0.2303 0.1167
438-AH 0.0744 0.1981 0.4977 0.5593 0.6081 0.3875 0.2000 0.3613 0.5337 0.5161 0.3207 0.2442 0.1840 0.0744 0.6081 0.3875 0.2000
439-AH 0.0000 0.0377 0.0817 0.1294 0.1739 0.0852 0.0601 0.0917 0.1739 0.7055 0.0106 0.0000 0.0461 0.0000 0.1739 0.0852 0.0601
440-AH 0.0478 0.1102 0.1548 0.2074 0.3784 0.1721 0.0936 0.0972 0.3306 0.5441 0.1493 0.1275 0.0711 0.0478 0.3415 0.1583 0.0784
441-AH 0.0000 0.1023 0.8007 0.8333 0.8824 0.5468 0.3716 0.7310 0.8824 0.6796 0.1931 0.0002 0.3395 0.0000 0.8824 0.5468 0.3716
442-AH 0.1562 0.4859 0.6168 0.6364 0.7368 0.5557 0.1463 0.1505 0.5806 0.2632 0.5280 0.4833 0.1115 0.3684 0.7368 0.5824 0.1038
443-AH 0.0000 0.0855 0.2944 0.5122 0.6800 0.2993 0.2215 0.4267 0.6800 0.7400 0.1169 0.0002 0.1800 0.0000 0.6800 0.2993 0.2215
444-AH 0.0390 0.2396 0.2761 0.3385 0.4667 0.2763 0.0996 0.0988 0.4277 0.3604 0.2486 0.1966 0.0691 0.1301 0.4667 0.2922 0.0796
445-AH 0.1053 0.5714 0.7390 0.9167 1.0000 0.6839 0.2917 0.3452 0.8947 0.4265 0.5843 0.4319 0.2260 0.1053 1.0000 0.6839 0.2917
446-AH 0.0000 0.0046 0.0572 0.1204 0.3529 0.0878 0.1035 0.1158 0.3529 1.1793 0.0085 0.0000 0.0748 0.0000 0.2917 0.0701 0.0783
447-AH 0.1429 0.5119 0.5500 0.5895 0.7857 0.5430 0.1267 0.0776 0.6429 0.2333 0.5194 0.4755 0.0691 0.5000 0.6190 0.5542 0.0392
448-AH 0.2500 0.3667 0.7500 1.0000 1.0000 0.6909 0.3275 0.6333 0.7500 0.4740 0.6071 0.5246 0.3091 0.2500 1.0000 0.6909 0.3275
449-AH 0.0217 0.0488 0.0771 0.2161 0.3500 0.1278 0.1059 0.1673 0.3283 0.8290 0.0884 0.0602 0.0897 0.0217 0.3500 0.1278 0.1059
450-AH 0.0000 0.0204 0.1178 0.1684 0.2917 0.1098 0.0909 0.1480 0.2917 0.8274 0.0120 0.0000 0.0782 0.0000 0.2917 0.1098 0.0909
34
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.0642 0.0916 0.1098 0.1860 0.0876 0.0411 0.0456 0.1646 0.4694 0.0776 0.0663 0.0313 0.0214 0.1346 0.0810 0.0327
402-AH 0.0000 0.0354 0.0553 0.0975 0.3692 0.0803 0.0887 0.0620 0.3692 1.1046 0.0145 0.0001 0.0559 0.0000 0.1507 0.0610 0.0454
403-AH 0.0000 0.0000 0.0445 0.1366 0.5385 0.1209 0.1676 0.1366 0.5385 1.3856 0.0060 0.0000 0.1233 0.0000 0.1579 0.0479 0.0531
404-AH 0.0000 0.0038 0.0124 0.0561 0.1500 0.0346 0.0470 0.0524 0.1500 1.3578 0.0037 0.0000 0.0373 0.0000 0.1111 0.0269 0.0368
405-AH 0.3125 0.6250 0.6696 0.8333 1.0000 0.7112 0.1740 0.2083 0.6875 0.2447 0.6884 0.6612 0.1340 0.5556 1.0000 0.7378 0.1426
406-AH 0.0000 0.0136 0.0531 0.0674 0.1509 0.0493 0.0403 0.0538 0.1509 0.8180 0.0068 0.0000 0.0295 0.0000 0.0870 0.0425 0.0308
407-AH 0.0000 0.0018 0.0085 0.0185 0.1000 0.0172 0.0260 0.0167 0.1000 1.5129 0.0022 0.0000 0.0173 0.0000 0.0345 0.0090 0.0101
408-AH 0.2661 0.8118 0.8681 0.9047 1.0000 0.8076 0.1835 0.0930 0.7339 0.2272 0.7766 0.7269 0.1181 0.7368 1.0000 0.8695 0.0636
409-AH 0.0680 0.6515 0.8375 0.8889 1.0000 0.7425 0.2287 0.2374 0.9320 0.3080 0.6641 0.4633 0.1667 0.4667 1.0000 0.7874 0.1462
410-AH 0.0960 0.3118 0.4416 0.4737 0.6923 0.3938 0.1470 0.1619 0.5963 0.3733 0.3585 0.3097 0.1100 0.0960 0.6923 0.3938 0.1470
411-AH 0.0000 0.0148 0.0286 0.0331 0.0755 0.0265 0.0184 0.0183 0.0755 0.6926 0.0099 0.0001 0.0132 0.0000 0.0440 0.0233 0.0134
412-AH 0.0000 0.0000 0.0047 0.0123 0.0252 0.0073 0.0086 0.0123 0.0252 1.1767 0.0004 0.0000 0.0073 0.0000 0.0252 0.0073 0.0086
413-AH 0.0237 0.0519 0.1187 0.1725 0.2222 0.1152 0.0693 0.1207 0.1986 0.6014 0.0919 0.0696 0.0623 0.0237 0.2222 0.1152 0.0693
414-AH 0.0000 0.0000 0.0401 0.4259 0.8750 0.2073 0.2867 0.4259 0.8750 1.3829 0.0028 0.0000 0.2358 0.0000 0.8750 0.2073 0.2867
415-AH 0.0000 0.0655 0.1353 0.3253 0.4487 0.1737 0.1439 0.2598 0.4487 0.8283 0.0282 0.0001 0.1209 0.0000 0.4487 0.1737 0.1439
416-AH 0.1921 0.2554 0.2994 0.3542 0.4021 0.3004 0.0664 0.0988 0.2099 0.2212 0.2929 0.2850 0.0524 0.1921 0.4021 0.3004 0.0664
417-AH 0.0000 0.0000 0.1097 0.1985 0.4483 0.1231 0.1358 0.1985 0.4483 1.1037 0.0070 0.0000 0.1022 0.0000 0.4483 0.1231 0.1358
418-AH 0.3136 0.5263 0.5607 0.5688 0.6429 0.5440 0.0707 0.0425 0.3292 0.1300 0.5386 0.5315 0.0428 0.5000 0.6076 0.5534 0.0290
419-AH 0.0185 0.0251 0.0548 0.0755 0.1176 0.0551 0.0295 0.0504 0.0991 0.5359 0.0470 0.0392 0.0231 0.0185 0.1176 0.0551 0.0295
420-AH 0.0987 0.3099 0.4891 0.5238 0.6111 0.4122 0.1558 0.2139 0.5125 0.3779 0.3728 0.3194 0.1309 0.0987 0.6111 0.4122 0.1558
421-AH 0.0426 0.1628 0.2929 0.5727 0.7500 0.3555 0.2354 0.4099 0.7074 0.6623 0.2651 0.1749 0.1999 0.0426 0.7500 0.3555 0.2354
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0581 0.1288 0.1840 0.2017 0.2449 0.1691 0.0494 0.0729 0.1868 0.2922 0.1604 0.1489 0.0389 0.0581 0.2449 0.1691 0.0494
424-AH 0.0053 0.0413 0.3590 0.4545 0.6250 0.2940 0.2236 0.4132 0.6197 0.7606 0.1537 0.0449 0.1954 0.0053 0.6250 0.2940 0.2236
425-AH 0.0000 0.0481 0.1286 0.2290 0.4000 0.1539 0.1366 0.1808 0.4000 0.8878 0.0388 0.0001 0.1119 0.0000 0.4000 0.1539 0.1366
426-AH 0.0000 0.0614 0.0700 0.0810 0.1187 0.0682 0.0265 0.0197 0.1187 0.3892 0.0402 0.0002 0.0179 0.0526 0.0960 0.0724 0.0122
427-AH 0.0897 0.1711 0.2099 0.2292 0.3333 0.2004 0.0556 0.0581 0.2437 0.2776 0.1925 0.1836 0.0407 0.0897 0.2381 0.1915 0.0444
428-AH 0.0000 0.0074 0.0292 0.0890 0.1625 0.0491 0.0488 0.0816 0.1625 0.9939 0.0060 0.0000 0.0405 0.0000 0.1625 0.0491 0.0488
429-AH 0.0000 0.0000 0.0173 0.0454 0.1471 0.0292 0.0390 0.0454 0.1471 1.3351 0.0011 0.0000 0.0285 0.0000 0.0607 0.0213 0.0238
430-AH 0.0000 0.0246 0.1173 0.1447 0.2530 0.1064 0.0813 0.1201 0.2530 0.7643 0.0122 0.0000 0.0640 0.0000 0.2530 0.1064 0.0813
431-AH 0.0000 0.0709 0.2602 0.4022 0.4348 0.2375 0.1719 0.3312 0.4348 0.7237 0.0613 0.0001 0.1555 0.0000 0.4348 0.2375 0.1719
432-AH 0.0000 0.5000 0.5455 0.5556 0.6000 0.4710 0.1865 0.0556 0.6000 0.3959 0.2115 0.0002 0.1218 0.4286 0.6000 0.5376 0.0439
433-AH 0.0257 0.0625 0.1052 0.1317 0.2632 0.1079 0.0601 0.0692 0.2374 0.5570 0.0927 0.0778 0.0444 0.0257 0.1875 0.0976 0.0451
434-AH 0.0000 0.5799 0.8256 0.9330 1.0000 0.7212 0.2993 0.3531 1.0000 0.4150 0.3571 0.0002 0.2341 0.2222 1.0000 0.7693 0.2374
435-AH 0.0000 0.0300 0.0484 0.0613 0.1642 0.0528 0.0403 0.0313 0.1642 0.7644 0.0178 0.0001 0.0271 0.0000 0.0978 0.0453 0.0282
436-AH 0.0000 0.0000 0.1698 0.2394 0.3000 0.1368 0.1165 0.2394 0.3000 0.8516 0.0051 0.0000 0.1026 0.0000 0.3000 0.1368 0.1165
437-AH 0.0182 0.1042 0.2077 0.3160 0.6667 0.2268 0.1581 0.2119 0.6485 0.6968 0.1694 0.1045 0.1146 0.0182 0.3429 0.1975 0.1097
438-AH 0.0000 0.1741 0.4119 0.4871 0.6081 0.3378 0.1894 0.3130 0.6081 0.5606 0.1614 0.0002 0.1683 0.0000 0.6081 0.3378 0.1894
439-AH 0.0000 0.0250 0.0805 0.1183 0.1739 0.0788 0.0584 0.0933 0.1739 0.7407 0.0099 0.0000 0.0436 0.0000 0.1739 0.0788 0.0584
440-AH 0.0346 0.0795 0.1236 0.1684 0.2963 0.1355 0.0724 0.0888 0.2617 0.5342 0.1169 0.0985 0.0572 0.0346 0.2963 0.1355 0.0724
441-AH 0.0000 0.0969 0.6236 0.7619 0.8182 0.4759 0.3242 0.6650 0.8182 0.6811 0.1677 0.0002 0.2897 0.0000 0.8182 0.4759 0.3242
442-AH 0.1562 0.4103 0.5081 0.5866 0.6538 0.4808 0.1414 0.1764 0.4976 0.2942 0.4535 0.4156 0.1102 0.1562 0.6538 0.4808 0.1414
443-AH 0.0000 0.0753 0.2822 0.4953 0.6800 0.2889 0.2219 0.4199 0.6800 0.7681 0.1086 0.0002 0.1771 0.0000 0.6800 0.2889 0.2219
444-AH 0.0251 0.1546 0.2332 0.3172 0.4571 0.2301 0.1077 0.1626 0.4321 0.4683 0.1974 0.1439 0.0877 0.0251 0.4571 0.2301 0.1077
445-AH 0.0505 0.4120 0.6696 0.7857 1.0000 0.5901 0.2759 0.3737 0.9495 0.4676 0.4812 0.3025 0.2298 0.0505 1.0000 0.5901 0.2759
446-AH 0.0000 0.0000 0.0432 0.1086 0.2917 0.0658 0.0785 0.1086 0.2917 1.1939 0.0043 0.0000 0.0599 0.0000 0.1404 0.0507 0.0521
447-AH 0.1429 0.4746 0.5192 0.5600 0.7222 0.5085 0.1212 0.0854 0.5794 0.2383 0.4869 0.4491 0.0766 0.4333 0.6190 0.5194 0.0549
448-AH 0.0280 0.1291 0.1771 0.5000 1.0000 0.3015 0.2593 0.3709 0.9720 0.8601 0.2112 0.1383 0.2083 0.0280 1.0000 0.3015 0.2593
449-AH 0.0000 0.0000 0.0400 0.1353 0.3214 0.0759 0.0934 0.1353 0.3214 1.2316 0.0047 0.0000 0.0734 0.0000 0.3214 0.0759 0.0934
450-AH 0.0000 0.0194 0.0686 0.1475 0.2267 0.0837 0.0716 0.1281 0.2267 0.8554 0.0096 0.0000 0.0615 0.0000 0.2267 0.0837 0.0716
35
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.0421 0.0696 0.1039 0.1860 0.0761 0.0456 0.0618 0.1646 0.5987 0.0637 0.0529 0.0381 0.0214 0.1860 0.0761 0.0456
402-AH 0.0000 0.0000 0.0317 0.0576 0.3205 0.0528 0.0792 0.0576 0.3205 1.5006 0.0038 0.0000 0.0455 0.0000 0.1330 0.0349 0.0356
403-AH 0.0000 0.0000 0.0405 0.0943 0.4643 0.0960 0.1425 0.0943 0.4643 1.4844 0.0031 0.0000 0.1027 0.0000 0.1000 0.0331 0.0368
404-AH 0.0000 0.0000 0.0095 0.0491 0.1500 0.0307 0.0489 0.0491 0.1500 1.5920 0.0009 0.0000 0.0393 0.0000 0.1111 0.0228 0.0384
405-AH 0.3125 0.6250 0.6696 0.8333 1.0000 0.7112 0.1740 0.2083 0.6875 0.2447 0.6884 0.6612 0.1340 0.5556 1.0000 0.7378 0.1426
406-AH 0.0000 0.0052 0.0531 0.0582 0.0783 0.0399 0.0282 0.0530 0.0783 0.7051 0.0058 0.0000 0.0238 0.0000 0.0783 0.0399 0.0282
407-AH 0.0000 0.0018 0.0085 0.0185 0.1000 0.0172 0.0260 0.0167 0.1000 1.5129 0.0022 0.0000 0.0173 0.0000 0.0345 0.0090 0.0101
408-AH 0.2133 0.6809 0.7442 0.8441 0.9412 0.7144 0.2048 0.1633 0.7278 0.2867 0.6704 0.6020 0.1376 0.6667 0.9412 0.7822 0.0931
409-AH 0.0404 0.4500 0.7636 0.8889 0.8889 0.6463 0.2855 0.4389 0.8485 0.4418 0.5185 0.2870 0.2321 0.0404 0.8889 0.6463 0.2855
410-AH 0.0735 0.2602 0.3897 0.4564 0.6667 0.3648 0.1540 0.1962 0.5931 0.4220 0.3208 0.2590 0.1171 0.0735 0.6667 0.3648 0.1540
411-AH 0.0000 0.0148 0.0286 0.0331 0.0755 0.0265 0.0184 0.0183 0.0755 0.6926 0.0099 0.0001 0.0132 0.0000 0.0440 0.0233 0.0134
412-AH 0.0000 0.0000 0.0000 0.0000 0.0196 0.0028 0.0061 0.0000 0.0196 2.2244 0.0000 0.0000 0.0045 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0395 0.0957 0.1473 0.1765 0.0928 0.0567 0.1078 0.1765 0.6110 0.0471 0.0002 0.0480 0.0000 0.1765 0.0928 0.0567
414-AH 0.0000 0.0000 0.0384 0.3382 0.8000 0.1806 0.2631 0.3382 0.8000 1.4569 0.0025 0.0000 0.2130 0.0000 0.8000 0.1806 0.2631
415-AH 0.0000 0.0264 0.1133 0.2117 0.4270 0.1312 0.1185 0.1854 0.4270 0.9036 0.0135 0.0000 0.0917 0.0000 0.4270 0.1312 0.1185
416-AH 0.1371 0.2111 0.2984 0.3529 0.3879 0.2869 0.0790 0.1418 0.2508 0.2752 0.2751 0.2617 0.0639 0.1371 0.3879 0.2869 0.0790
417-AH 0.0000 0.0000 0.0474 0.0786 0.2537 0.0619 0.0756 0.0786 0.2537 1.2223 0.0027 0.0000 0.0548 0.0000 0.1923 0.0491 0.0576
418-AH 0.3136 0.5024 0.5343 0.5587 0.6000 0.5235 0.0648 0.0563 0.2864 0.1238 0.5188 0.5128 0.0408 0.4851 0.6000 0.5375 0.0338
419-AH 0.0185 0.0251 0.0548 0.0755 0.1176 0.0551 0.0295 0.0504 0.0991 0.5359 0.0470 0.0392 0.0231 0.0185 0.1176 0.0551 0.0295
420-AH 0.0576 0.1744 0.3175 0.4227 0.5435 0.3008 0.1557 0.2483 0.4859 0.5176 0.2537 0.2010 0.1365 0.0576 0.5435 0.3008 0.1557
421-AH 0.0210 0.0865 0.2457 0.3442 0.7000 0.2564 0.2010 0.2577 0.6790 0.7840 0.1651 0.0818 0.1481 0.0210 0.7000 0.2564 0.2010
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0581 0.1159 0.1412 0.1884 0.2203 0.1481 0.0452 0.0726 0.1622 0.3053 0.1407 0.1322 0.0386 0.0581 0.2203 0.1481 0.0452
424-AH 0.0053 0.0413 0.3590 0.4545 0.6250 0.2940 0.2236 0.4132 0.6197 0.7606 0.1537 0.0449 0.1954 0.0053 0.6250 0.2940 0.2236
425-AH 0.0000 0.0000 0.0535 0.1051 0.2745 0.0813 0.0952 0.1051 0.2745 1.1710 0.0051 0.0000 0.0725 0.0000 0.2545 0.0684 0.0829
426-AH 0.0000 0.0316 0.0406 0.0586 0.0803 0.0431 0.0189 0.0269 0.0803 0.4386 0.0258 0.0002 0.0144 0.0000 0.0803 0.0431 0.0189
427-AH 0.0897 0.1376 0.1611 0.1984 0.2927 0.1680 0.0515 0.0608 0.2030 0.3067 0.1608 0.1538 0.0397 0.0897 0.2222 0.1597 0.0407
428-AH 0.0000 0.0000 0.0273 0.0713 0.1531 0.0388 0.0453 0.0713 0.1531 1.1672 0.0021 0.0000 0.0356 0.0000 0.1531 0.0388 0.0453
429-AH 0.0000 0.0000 0.0000 0.0232 0.0780 0.0143 0.0263 0.0232 0.0780 1.8433 0.0001 0.0000 0.0214 0.0000 0.0535 0.0100 0.0208
430-AH 0.0000 0.0000 0.0711 0.0963 0.1860 0.0622 0.0548 0.0963 0.1860 0.8809 0.0049 0.0000 0.0438 0.0000 0.1860 0.0622 0.0548
431-AH 0.0000 0.0343 0.1678 0.3574 0.3929 0.1968 0.1605 0.3231 0.3929 0.8157 0.0466 0.0001 0.1482 0.0000 0.3929 0.1968 0.1605
432-AH 0.0000 0.4330 0.5420 0.5455 0.6000 0.4314 0.2099 0.1124 0.6000 0.4866 0.1182 0.0001 0.1538 0.4286 0.6000 0.5258 0.0577
433-AH 0.0201 0.0577 0.0948 0.1177 0.2632 0.0943 0.0558 0.0600 0.2430 0.5925 0.0807 0.0671 0.0375 0.0201 0.1279 0.0830 0.0342
434-AH 0.0000 0.4362 0.7500 0.8459 0.9375 0.6371 0.2771 0.4097 0.9375 0.4349 0.3172 0.0002 0.2258 0.0000 0.9375 0.6371 0.2771
435-AH 0.0000 0.0203 0.0464 0.0613 0.1642 0.0469 0.0397 0.0410 0.1642 0.8456 0.0101 0.0001 0.0257 0.0000 0.0730 0.0391 0.0253
436-AH 0.0000 0.0000 0.1520 0.2168 0.2712 0.1265 0.1073 0.2168 0.2712 0.8482 0.0048 0.0000 0.0948 0.0000 0.2712 0.1265 0.1073
437-AH 0.0000 0.0704 0.1970 0.2871 0.3137 0.1750 0.1151 0.2167 0.3137 0.6580 0.0470 0.0001 0.0971 0.0000 0.3137 0.1750 0.1151
438-AH 0.0000 0.1614 0.2804 0.4082 0.5618 0.2781 0.1736 0.2467 0.5618 0.6243 0.0779 0.0001 0.1509 0.0000 0.5618 0.2781 0.1736
439-AH 0.0000 0.0000 0.0408 0.0492 0.0657 0.0315 0.0238 0.0492 0.0657 0.7569 0.0032 0.0000 0.0209 0.0000 0.0657 0.0315 0.0238
440-AH 0.0000 0.0604 0.1003 0.1306 0.2235 0.0999 0.0593 0.0703 0.2235 0.5935 0.0527 0.0002 0.0443 0.0000 0.2235 0.0999 0.0593
441-AH 0.0000 0.0946 0.5384 0.6548 0.8182 0.4226 0.2892 0.5602 0.8182 0.6844 0.1491 0.0002 0.2517 0.0000 0.8182 0.4226 0.2892
442-AH 0.1562 0.3623 0.4817 0.5673 0.6452 0.4431 0.1449 0.2050 0.4889 0.3271 0.4147 0.3796 0.1198 0.1562 0.6452 0.4431 0.1449
443-AH 0.0000 0.0667 0.2281 0.4539 0.5938 0.2585 0.2048 0.3872 0.5938 0.7924 0.0378 0.0001 0.1675 0.0000 0.5938 0.2585 0.2048
444-AH 0.0000 0.1250 0.1917 0.2588 0.3051 0.1859 0.0852 0.1338 0.3051 0.4580 0.1006 0.0002 0.0682 0.0000 0.3051 0.1859 0.0852
445-AH 0.0498 0.3839 0.5627 0.7857 0.9167 0.5489 0.2652 0.4018 0.8669 0.4832 0.4482 0.2897 0.2293 0.0498 0.9167 0.5489 0.2652
446-AH 0.0000 0.0000 0.0360 0.0830 0.1404 0.0440 0.0458 0.0830 0.1404 1.0414 0.0023 0.0000 0.0380 0.0000 0.1404 0.0440 0.0458
447-AH 0.1429 0.4639 0.5081 0.5520 0.6400 0.4907 0.1111 0.0881 0.4971 0.2264 0.4712 0.4369 0.0706 0.3846 0.6400 0.5139 0.0633
448-AH 0.0280 0.1291 0.1771 0.5000 1.0000 0.3015 0.2593 0.3709 0.9720 0.8601 0.2112 0.1383 0.2083 0.0280 1.0000 0.3015 0.2593
449-AH 0.0000 0.0000 0.0000 0.0727 0.3167 0.0536 0.0969 0.0727 0.3167 1.8068 0.0003 0.0000 0.0748 0.0000 0.1696 0.0241 0.0531
450-AH 0.0000 0.0193 0.0577 0.1094 0.1978 0.0658 0.0568 0.0901 0.1978 0.8633 0.0082 0.0000 0.0444 0.0000 0.1978 0.0658 0.0568
36
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0214 0.0294 0.0624 0.0974 0.1216 0.0651 0.0353 0.0680 0.1002 0.5430 0.0553 0.0465 0.0328 0.0214 0.1216 0.0651 0.0353
402-AH 0.0000 0.0000 0.0000 0.0000 0.0600 0.0056 0.0164 0.0000 0.0600 2.8943 0.0000 0.0000 0.0099 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0175 0.0572 0.4179 0.0744 0.1280 0.0572 0.4179 1.7208 0.0010 0.0000 0.0924 0.0000 0.0698 0.0176 0.0245
404-AH 0.0000 0.0000 0.0045 0.0444 0.1500 0.0287 0.0477 0.0444 0.1500 1.6643 0.0006 0.0000 0.0381 0.0000 0.1000 0.0206 0.0363
405-AH 0.0492 0.1151 0.1600 0.1972 0.2857 0.1549 0.0640 0.0821 0.2365 0.4134 0.1395 0.1214 0.0476 0.0492 0.2857 0.1549 0.0640
406-AH 0.0000 0.0000 0.0403 0.0480 0.0571 0.0296 0.0223 0.0480 0.0571 0.7536 0.0031 0.0000 0.0198 0.0000 0.0571 0.0296 0.0223
407-AH 0.0000 0.0018 0.0085 0.0185 0.1000 0.0172 0.0260 0.0167 0.1000 1.5129 0.0022 0.0000 0.0173 0.0000 0.0345 0.0090 0.0101
408-AH 0.0000 0.4543 0.6165 0.7913 0.8372 0.5867 0.2293 0.3370 0.8372 0.3908 0.3011 0.0002 0.1726 0.0000 0.8372 0.5867 0.2293
409-AH 0.0000 0.0000 0.1806 0.3338 0.4286 0.1830 0.1768 0.3338 0.4286 0.9662 0.0088 0.0000 0.1666 0.0000 0.4286 0.1830 0.1768
410-AH 0.0000 0.1933 0.2934 0.4039 0.4615 0.2883 0.1352 0.2107 0.4615 0.4690 0.1494 0.0002 0.1087 0.0000 0.4615 0.2883 0.1352
411-AH 0.0000 0.0102 0.0240 0.0316 0.0725 0.0230 0.0180 0.0214 0.0725 0.7841 0.0057 0.0001 0.0129 0.0000 0.0336 0.0197 0.0128
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0360 0.0957 0.1473 0.1594 0.0893 0.0578 0.1114 0.1594 0.6477 0.0427 0.0002 0.0498 0.0000 0.1594 0.0893 0.0578
414-AH 0.0000 0.0000 0.0291 0.2439 0.4615 0.1226 0.1698 0.2439 0.4615 1.3857 0.0021 0.0000 0.1398 0.0000 0.4615 0.1226 0.1698
415-AH 0.0000 0.0246 0.0751 0.1599 0.2651 0.0957 0.0831 0.1353 0.2651 0.8682 0.0107 0.0000 0.0688 0.0000 0.2651 0.0957 0.0831
416-AH 0.1213 0.1981 0.2727 0.3185 0.3475 0.2597 0.0680 0.1204 0.2262 0.2618 0.2499 0.2388 0.0546 0.1213 0.3475 0.2597 0.0680
417-AH 0.0000 0.0000 0.0277 0.0605 0.2537 0.0512 0.0723 0.0605 0.2537 1.4134 0.0022 0.0000 0.0512 0.0000 0.1189 0.0282 0.0349
418-AH 0.3122 0.4805 0.5000 0.5183 0.5500 0.4899 0.0560 0.0377 0.2378 0.1143 0.4862 0.4818 0.0352 0.4472 0.5500 0.5017 0.0309
419-AH 0.0185 0.0251 0.0548 0.0755 0.1176 0.0551 0.0295 0.0504 0.0991 0.5359 0.0470 0.0392 0.0231 0.0185 0.1176 0.0551 0.0295
420-AH 0.0000 0.0902 0.2543 0.3647 0.4375 0.2304 0.1483 0.2745 0.4375 0.6435 0.1058 0.0002 0.1290 0.0000 0.4375 0.2304 0.1483
421-AH 0.0170 0.0312 0.0885 0.2890 0.6154 0.1799 0.1826 0.2579 0.5984 1.0146 0.1000 0.0536 0.1463 0.0170 0.6154 0.1799 0.1826
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0395 0.0714 0.0978 0.1120 0.1316 0.0920 0.0294 0.0405 0.0921 0.3201 0.0865 0.0800 0.0226 0.0395 0.1316 0.0920 0.0294
424-AH 0.0000 0.0316 0.0572 0.0916 0.4286 0.0922 0.1071 0.0600 0.4286 1.1618 0.0380 0.0002 0.0695 0.0000 0.0923 0.0494 0.0291
425-AH 0.0000 0.0000 0.0364 0.0471 0.0769 0.0296 0.0259 0.0471 0.0769 0.8738 0.0019 0.0000 0.0222 0.0000 0.0769 0.0296 0.0259
426-AH 0.0000 0.0000 0.0000 0.0327 0.0636 0.0165 0.0209 0.0327 0.0636 1.2683 0.0004 0.0000 0.0185 0.0000 0.0636 0.0165 0.0209
427-AH 0.0897 0.1177 0.1384 0.1713 0.2766 0.1492 0.0482 0.0537 0.1869 0.3233 0.1428 0.1372 0.0362 0.0897 0.2063 0.1407 0.0354
428-AH 0.0000 0.0000 0.0103 0.0531 0.1328 0.0292 0.0406 0.0531 0.1328 1.3915 0.0007 0.0000 0.0319 0.0000 0.0861 0.0223 0.0308
429-AH 0.0000 0.0000 0.0000 0.0138 0.0588 0.0105 0.0199 0.0138 0.0588 1.9055 0.0001 0.0000 0.0157 0.0000 0.0302 0.0041 0.0105
430-AH 0.0000 0.0000 0.0326 0.0680 0.0918 0.0375 0.0351 0.0680 0.0918 0.9354 0.0022 0.0000 0.0305 0.0000 0.0918 0.0375 0.0351
431-AH 0.0000 0.0000 0.1133 0.2403 0.3571 0.1316 0.1301 0.2403 0.3571 0.9880 0.0047 0.0000 0.1120 0.0000 0.3571 0.1316 0.1301
432-AH 0.0000 0.2892 0.4521 0.5385 0.5833 0.3882 0.2066 0.2492 0.5833 0.5323 0.1056 0.0001 0.1649 0.0000 0.5833 0.3882 0.2066
433-AH 0.0000 0.0524 0.0626 0.1058 0.1279 0.0720 0.0352 0.0534 0.1279 0.4888 0.0410 0.0002 0.0284 0.0000 0.1279 0.0720 0.0352
434-AH 0.0000 0.0878 0.5206 0.7395 0.8095 0.4384 0.3201 0.6517 0.8095 0.7302 0.0582 0.0001 0.2811 0.0000 0.8095 0.4384 0.3201
435-AH 0.0000 0.0093 0.0383 0.0606 0.1642 0.0423 0.0404 0.0513 0.1642 0.9560 0.0059 0.0000 0.0271 0.0000 0.0671 0.0342 0.0249
436-AH 0.0000 0.0000 0.1436 0.1941 0.2216 0.1115 0.0928 0.1941 0.2216 0.8320 0.0045 0.0000 0.0836 0.0000 0.2216 0.1115 0.0928
437-AH 0.0000 0.0552 0.1449 0.2606 0.3137 0.1520 0.1130 0.2054 0.3137 0.7433 0.0161 0.0000 0.0892 0.0000 0.3137 0.1520 0.1130
438-AH 0.0000 0.0678 0.1972 0.3182 0.4341 0.1989 0.1420 0.2504 0.4341 0.7141 0.0199 0.0000 0.1161 0.0000 0.4341 0.1989 0.1420
439-AH 0.0000 0.0000 0.0000 0.0370 0.0460 0.0149 0.0202 0.0370 0.0460 1.3513 0.0002 0.0000 0.0186 0.0000 0.0460 0.0149 0.0202
440-AH 0.0000 0.0382 0.0649 0.0876 0.1681 0.0709 0.0442 0.0494 0.1681 0.6240 0.0384 0.0002 0.0323 0.0000 0.1562 0.0644 0.0371
441-AH 0.0000 0.0671 0.3469 0.4877 0.7143 0.3128 0.2440 0.4205 0.7143 0.7801 0.0268 0.0000 0.2067 0.0000 0.7143 0.3128 0.2440
442-AH 0.0745 0.2985 0.3827 0.5196 0.6452 0.3874 0.1581 0.2211 0.5707 0.4082 0.3461 0.2879 0.1321 0.0745 0.6452 0.3874 0.1581
443-AH 0.0000 0.0625 0.2108 0.3836 0.5250 0.2256 0.1819 0.3211 0.5250 0.8065 0.0339 0.0001 0.1427 0.0000 0.5250 0.2256 0.1819
444-AH 0.0000 0.0866 0.1505 0.1806 0.1942 0.1279 0.0596 0.0940 0.1942 0.4657 0.0695 0.0002 0.0515 0.0000 0.1942 0.1279 0.0596
445-AH 0.0498 0.3002 0.3935 0.5714 0.8000 0.4189 0.2144 0.2712 0.7502 0.5119 0.3474 0.2481 0.1663 0.0498 0.8000 0.4189 0.2144
446-AH 0.0000 0.0000 0.0088 0.0609 0.1000 0.0278 0.0349 0.0609 0.1000 1.2530 0.0007 0.0000 0.0294 0.0000 0.1000 0.0278 0.0349
447-AH 0.1429 0.4179 0.4929 0.5232 0.5862 0.4542 0.1161 0.1053 0.4433 0.2556 0.4332 0.4010 0.0845 0.3778 0.5862 0.4907 0.0597
448-AH 0.0280 0.1291 0.1771 0.5000 1.0000 0.3015 0.2593 0.3709 0.9720 0.8601 0.2112 0.1383 0.2083 0.0280 1.0000 0.3015 0.2593
449-AH 0.0000 0.0000 0.0000 0.0445 0.2895 0.0414 0.0850 0.0445 0.2895 2.0545 0.0001 0.0000 0.0621 0.0000 0.0977 0.0133 0.0339
450-AH 0.0000 0.0193 0.0468 0.0845 0.1342 0.0512 0.0400 0.0652 0.1342 0.7818 0.0071 0.0000 0.0309 0.0000 0.1342 0.0512 0.0400
37
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0169 0.0261 0.0277 0.0364 0.0862 0.0350 0.0176 0.0103 0.0693 0.5044 0.0320 0.0298 0.0120 0.0169 0.0481 0.0293 0.0078
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0155 0.3671 0.0505 0.1100 0.0155 0.3671 2.1769 0.0001 0.0000 0.0782 0.0000 0.0309 0.0024 0.0086
404-AH 0.0000 0.0000 0.0045 0.0444 0.1500 0.0287 0.0477 0.0444 0.1500 1.6643 0.0006 0.0000 0.0381 0.0000 0.1000 0.0206 0.0363
405-AH 0.0492 0.1151 0.1600 0.1972 0.2857 0.1549 0.0640 0.0821 0.2365 0.4134 0.1395 0.1214 0.0476 0.0492 0.2857 0.1549 0.0640
406-AH 0.0000 0.0000 0.0183 0.0248 0.0383 0.0167 0.0136 0.0248 0.0383 0.8120 0.0021 0.0000 0.0111 0.0000 0.0383 0.0167 0.0136
407-AH 0.0000 0.0018 0.0085 0.0185 0.1000 0.0172 0.0260 0.0167 0.1000 1.5129 0.0022 0.0000 0.0173 0.0000 0.0345 0.0090 0.0101
408-AH 0.0000 0.0683 0.2174 0.5196 0.5970 0.2679 0.2174 0.4513 0.5970 0.8115 0.0653 0.0001 0.1875 0.0000 0.5970 0.2679 0.2174
409-AH 0.0000 0.0000 0.1806 0.3338 0.4286 0.1830 0.1768 0.3338 0.4286 0.9662 0.0088 0.0000 0.1666 0.0000 0.4286 0.1830 0.1768
410-AH 0.0000 0.1790 0.2638 0.3583 0.4615 0.2621 0.1294 0.1793 0.4615 0.4939 0.1347 0.0002 0.1045 0.0000 0.4615 0.2621 0.1294
411-AH 0.0000 0.0102 0.0240 0.0316 0.0725 0.0230 0.0180 0.0214 0.0725 0.7841 0.0057 0.0001 0.0129 0.0000 0.0336 0.0197 0.0128
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0354 0.0944 0.1113 0.1594 0.0802 0.0507 0.0759 0.1594 0.6316 0.0393 0.0002 0.0422 0.0000 0.1594 0.0802 0.0507
414-AH 0.0000 0.0000 0.0000 0.0545 0.2381 0.0426 0.0759 0.0545 0.2381 1.7793 0.0003 0.0000 0.0570 0.0000 0.1149 0.0179 0.0357
415-AH 0.0000 0.0000 0.0000 0.0244 0.1873 0.0265 0.0541 0.0244 0.1873 2.0410 0.0001 0.0000 0.0398 0.0000 0.0488 0.0038 0.0135
416-AH 0.0000 0.1649 0.1807 0.2118 0.2432 0.1670 0.0712 0.0469 0.2432 0.4265 0.0550 0.0001 0.0478 0.1227 0.2432 0.1909 0.0308
417-AH 0.0000 0.0000 0.0242 0.0604 0.2308 0.0455 0.0664 0.0604 0.2308 1.4586 0.0013 0.0000 0.0478 0.0000 0.1034 0.0245 0.0323
418-AH 0.2785 0.3873 0.3910 0.4013 0.4266 0.3891 0.0320 0.0140 0.1480 0.0823 0.3877 0.3859 0.0161 0.3812 0.4178 0.3943 0.0102
419-AH 0.0185 0.0251 0.0548 0.0755 0.1176 0.0551 0.0295 0.0504 0.0991 0.5359 0.0470 0.0392 0.0231 0.0185 0.1176 0.0551 0.0295
420-AH 0.0000 0.0000 0.0158 0.1129 0.2719 0.0659 0.0979 0.1129 0.2719 1.4853 0.0010 0.0000 0.0790 0.0000 0.2719 0.0659 0.0979
421-AH 0.0170 0.0312 0.0885 0.2890 0.6154 0.1799 0.1826 0.2579 0.5984 1.0146 0.1000 0.0536 0.1463 0.0170 0.6154 0.1799 0.1826
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0191 0.0448 0.0642 0.0994 0.0426 0.0310 0.0450 0.0994 0.7279 0.0095 0.0001 0.0251 0.0000 0.0994 0.0426 0.0310
424-AH 0.0000 0.0316 0.0572 0.0916 0.4286 0.0922 0.1071 0.0600 0.4286 1.1618 0.0380 0.0002 0.0695 0.0000 0.0923 0.0494 0.0291
425-AH 0.0000 0.0000 0.0093 0.0293 0.0548 0.0159 0.0188 0.0293 0.0548 1.1804 0.0005 0.0000 0.0159 0.0000 0.0548 0.0159 0.0188
426-AH 0.0000 0.0000 0.0000 0.0000 0.0277 0.0017 0.0069 0.0000 0.0277 4.0000 0.0000 0.0000 0.0032 0.0000 0.0000 0.0000 0.0000
427-AH 0.0536 0.0623 0.0665 0.0720 0.2692 0.0820 0.0518 0.0097 0.2156 0.6315 0.0745 0.0708 0.0281 0.0536 0.0737 0.0648 0.0057
428-AH 0.0000 0.0000 0.0095 0.0398 0.0861 0.0213 0.0275 0.0398 0.0861 1.2905 0.0006 0.0000 0.0217 0.0000 0.0861 0.0213 0.0275
429-AH 0.0000 0.0000 0.0000 0.0125 0.0307 0.0067 0.0121 0.0125 0.0307 1.7973 0.0001 0.0000 0.0101 0.0000 0.0307 0.0067 0.0121
430-AH 0.0000 0.0000 0.0000 0.0000 0.0534 0.0033 0.0134 0.0000 0.0534 4.0000 0.0000 0.0000 0.0063 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0352 0.1688 0.3418 0.0927 0.1144 0.1688 0.3418 1.2345 0.0013 0.0000 0.0955 0.0000 0.3418 0.0927 0.1144
432-AH 0.0000 0.2892 0.4521 0.5385 0.5833 0.3882 0.2066 0.2492 0.5833 0.5323 0.1056 0.0001 0.1649 0.0000 0.5833 0.3882 0.2066
433-AH 0.0000 0.0321 0.0440 0.0556 0.0976 0.0447 0.0221 0.0235 0.0976 0.4944 0.0263 0.0002 0.0164 0.0000 0.0682 0.0411 0.0176
434-AH 0.0000 0.0000 0.3252 0.5879 0.7708 0.3252 0.2936 0.5879 0.7708 0.9030 0.0085 0.0000 0.2523 0.0000 0.7708 0.3252 0.2936
435-AH 0.0000 0.0000 0.0000 0.0357 0.0594 0.0158 0.0227 0.0357 0.0594 1.4329 0.0002 0.0000 0.0198 0.0000 0.0594 0.0158 0.0227
436-AH 0.0000 0.0000 0.0205 0.0511 0.1180 0.0305 0.0360 0.0511 0.1180 1.1797 0.0008 0.0000 0.0305 0.0000 0.1180 0.0305 0.0360
437-AH 0.0000 0.0447 0.1142 0.2348 0.2982 0.1316 0.1036 0.1900 0.2982 0.7873 0.0142 0.0000 0.0841 0.0000 0.2982 0.1316 0.1036
438-AH 0.0000 0.0000 0.0000 0.0000 0.1115 0.0070 0.0279 0.0000 0.1115 4.0000 0.0000 0.0000 0.0131 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0214 0.0315 0.0078 0.0123 0.0214 0.0315 1.5670 0.0001 0.0000 0.0108 0.0000 0.0315 0.0078 0.0123
440-AH 0.0000 0.0000 0.0319 0.0504 0.1134 0.0354 0.0337 0.0504 0.1134 0.9521 0.0033 0.0000 0.0261 0.0000 0.1134 0.0354 0.0337
441-AH 0.0000 0.0000 0.0348 0.2200 0.3860 0.1192 0.1400 0.2200 0.3860 1.1740 0.0015 0.0000 0.1254 0.0000 0.3860 0.1192 0.1400
442-AH 0.0665 0.1496 0.2049 0.2545 0.3492 0.2013 0.0785 0.1050 0.2827 0.3900 0.1842 0.1646 0.0582 0.0665 0.3492 0.2013 0.0785
443-AH 0.0000 0.0391 0.1212 0.2555 0.4259 0.1571 0.1430 0.2163 0.4259 0.9106 0.0153 0.0000 0.1142 0.0000 0.4259 0.1571 0.1430
444-AH 0.0000 0.0455 0.0662 0.1264 0.1477 0.0806 0.0444 0.0809 0.1477 0.5509 0.0438 0.0002 0.0386 0.0000 0.1477 0.0806 0.0444
445-AH 0.0176 0.1894 0.2826 0.3939 0.5909 0.3039 0.1683 0.2045 0.5733 0.5537 0.2381 0.1341 0.1338 0.0176 0.5909 0.3039 0.1683
446-AH 0.0000 0.0000 0.0088 0.0609 0.1000 0.0278 0.0349 0.0609 0.1000 1.2530 0.0007 0.0000 0.0294 0.0000 0.1000 0.0278 0.0349
447-AH 0.1429 0.2679 0.3832 0.4737 0.5455 0.3745 0.1153 0.2058 0.4026 0.3079 0.3546 0.3310 0.0910 0.1429 0.5455 0.3745 0.1153
448-AH 0.0280 0.1291 0.1771 0.5000 1.0000 0.3015 0.2593 0.3709 0.9720 0.8601 0.2112 0.1383 0.2083 0.0280 1.0000 0.3015 0.2593
449-AH 0.0000 0.0000 0.0000 0.0000 0.2421 0.0184 0.0611 0.0000 0.2421 3.3123 0.0000 0.0000 0.0323 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0263 0.1140 0.0220 0.0410 0.0263 0.1140 1.8652 0.0001 0.0000 0.0330 0.0000 0.0525 0.0040 0.0146
38
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.2000 0.1265 0.0000 0.4000 0.6325 0.0356 0.0001 0.0750 0.2000 0.2000 0.2000 0.0000
402-AH 0.4000 0.8000 0.8000 0.8000 1.0000 0.7750 0.1438 0.0000 0.6000 0.1855 0.7599 0.7413 0.0906 0.8000 0.8000 0.8000 0.0000
403-AH 0.0000 0.1000 0.2000 0.5000 0.6000 0.2875 0.2306 0.4000 0.6000 0.8020 0.0252 0.0000 0.1984 0.0000 0.6000 0.2875 0.2306
404-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1375 0.0957 0.2000 0.2000 0.6963 0.0091 0.0000 0.0859 0.0000 0.2000 0.1375 0.0957
405-AH 0.6000 0.7000 0.8000 0.8000 1.0000 0.7750 0.1238 0.1000 0.4000 0.1598 0.7655 0.7559 0.0875 0.6000 0.8000 0.7429 0.0938
406-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1750 0.1612 0.3000 0.4000 0.9214 0.0058 0.0000 0.1313 0.0000 0.4000 0.1750 0.1612
407-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1125 0.1025 0.2000 0.2000 0.9108 0.0026 0.0000 0.0984 0.0000 0.2000 0.1125 0.1025
408-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9875 0.0500 0.0000 0.2000 0.0506 0.9862 0.9846 0.0234 1.0000 1.0000 1.0000 0.0000
409-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8375 0.1500 0.2000 0.6000 0.1791 0.8214 0.8000 0.1016 0.8000 1.0000 0.8667 0.0976
410-AH 0.0000 0.6000 0.6000 0.8000 0.8000 0.5875 0.2473 0.2000 0.8000 0.4210 0.1659 0.0001 0.1469 0.6000 0.8000 0.6714 0.0994
411-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0500 0.0894 0.1000 0.2000 1.7889 0.0001 0.0000 0.0750 0.0000 0.2000 0.0500 0.0894
412-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0125 0.0500 0.0000 0.2000 4.0000 0.0000 0.0000 0.0234 0.0000 0.0000 0.0000 0.0000
413-AH 0.2000 0.4000 0.4000 0.6000 0.8000 0.4875 0.1928 0.2000 0.6000 0.3955 0.4507 0.4129 0.1594 0.2000 0.8000 0.4875 0.1928
414-AH 0.0000 0.0000 0.6000 0.8000 1.0000 0.4875 0.3793 0.8000 1.0000 0.7780 0.0207 0.0000 0.3406 0.0000 1.0000 0.4875 0.3793
415-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1375 0.1893 0.2000 0.6000 1.3767 0.0009 0.0000 0.1547 0.0000 0.4000 0.1067 0.1486
416-AH 0.2000 0.2000 0.3000 0.4000 0.6000 0.3375 0.1586 0.2000 0.4000 0.4700 0.3052 0.2783 0.1375 0.2000 0.6000 0.3375 0.1586
417-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.3500 0.2875 0.6000 0.8000 0.8215 0.0163 0.0000 0.2563 0.0000 0.8000 0.3500 0.2875
418-AH 0.2000 0.4000 0.6000 0.7000 0.8000 0.5250 0.2176 0.3000 0.6000 0.4144 0.4741 0.4174 0.1844 0.2000 0.8000 0.5250 0.2176
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.8000 0.8000 1.0000 1.0000 1.0000 0.9250 0.1000 0.2000 0.2000 0.1081 0.9197 0.9143 0.0937 0.8000 1.0000 0.9250 0.1000
421-AH 0.4000 0.4000 0.4000 0.6000 0.8000 0.5125 0.1455 0.2000 0.4000 0.2839 0.4951 0.4800 0.1266 0.4000 0.8000 0.5125 0.1455
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2000 0.4000 0.5000 0.6000 0.8000 0.5000 0.1461 0.2000 0.6000 0.2921 0.4776 0.4518 0.1250 0.2000 0.8000 0.5000 0.1461
424-AH 0.0000 0.2000 0.6000 0.6000 0.6000 0.4375 0.2655 0.4000 0.6000 0.6069 0.0374 0.0000 0.2234 0.0000 0.6000 0.4375 0.2655
425-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3750 0.2408 0.4000 0.8000 0.6422 0.0581 0.0001 0.1844 0.0000 0.8000 0.3750 0.2408
426-AH 0.0000 0.2000 0.3000 0.4000 0.4000 0.2625 0.1586 0.2000 0.4000 0.6043 0.0442 0.0001 0.1375 0.0000 0.4000 0.2625 0.1586
427-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.2000 0.1461 0.2000 0.4000 0.7303 0.0200 0.0000 0.1000 0.0000 0.4000 0.2000 0.1461
428-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0250 0.0683 0.0000 0.2000 2.7325 0.0000 0.0000 0.0438 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2000 0.1932 0.4000 0.6000 0.9661 0.0062 0.0000 0.1500 0.0000 0.6000 0.2000 0.1932
430-AH 0.4000 0.4000 0.6000 0.6000 0.6000 0.5250 0.1000 0.2000 0.2000 0.1905 0.5154 0.5053 0.0938 0.4000 0.6000 0.5250 0.1000
431-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5125 0.2729 0.4000 0.8000 0.5326 0.1400 0.0001 0.2234 0.0000 0.8000 0.5125 0.2729
432-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3375 0.1408 0.2000 0.6000 0.4173 0.1779 0.0002 0.1109 0.0000 0.6000 0.3375 0.1408
433-AH 0.0000 0.2000 0.5000 0.7000 1.0000 0.4500 0.3225 0.5000 1.0000 0.7166 0.0643 0.0001 0.2750 0.0000 1.0000 0.4500 0.3225
434-AH 0.0000 0.7000 1.0000 1.0000 1.0000 0.8375 0.2941 0.3000 1.0000 0.3512 0.4254 0.0002 0.2234 0.4000 1.0000 0.8933 0.1981
435-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0625 0.0957 0.2000 0.2000 1.5319 0.0002 0.0000 0.0859 0.0000 0.2000 0.0625 0.0957
436-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0750 0.1770 0.0000 0.6000 2.3602 0.0001 0.0000 0.1219 0.0000 0.0000 0.0000 0.0000
437-AH 0.2000 0.4000 0.6000 0.8000 1.0000 0.5750 0.2408 0.4000 0.8000 0.4188 0.5205 0.4604 0.2031 0.2000 1.0000 0.5750 0.2408
438-AH 0.2000 0.3000 0.6000 0.9000 1.0000 0.5875 0.3052 0.6000 0.8000 0.5195 0.5013 0.4147 0.2406 0.2000 1.0000 0.5875 0.3052
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.3000 0.4000 0.4000 0.6000 0.3375 0.1586 0.1000 0.6000 0.4700 0.1000 0.0001 0.1188 0.2000 0.4000 0.3692 0.0751
441-AH 0.0000 0.3000 0.9000 1.0000 1.0000 0.6750 0.4250 0.7000 1.0000 0.6297 0.0513 0.0000 0.3562 0.0000 1.0000 0.6750 0.4250
442-AH 0.6000 0.6000 0.6000 0.8000 0.8000 0.6750 0.1000 0.2000 0.2000 0.1481 0.6683 0.6621 0.0937 0.6000 0.8000 0.6750 0.1000
443-AH 0.2000 0.6000 0.8000 0.9000 1.0000 0.7250 0.2295 0.3000 0.8000 0.3165 0.6789 0.6134 0.1844 0.2000 1.0000 0.7250 0.2295
444-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.6750 0.2049 0.2000 0.8000 0.3036 0.6348 0.5783 0.1656 0.4000 1.0000 0.7067 0.1668
445-AH 0.4000 0.6000 0.8000 1.0000 1.0000 0.7875 0.1996 0.4000 0.6000 0.2534 0.7613 0.7328 0.1656 0.4000 1.0000 0.7875 0.1996
446-AH 0.0000 0.0000 0.0000 0.3000 0.8000 0.1625 0.2553 0.3000 0.8000 1.5709 0.0005 0.0000 0.2031 0.0000 0.6000 0.1200 0.1971
447-AH 0.0000 0.1000 0.5000 0.6000 0.8000 0.4250 0.3000 0.5000 0.8000 0.7059 0.0350 0.0000 0.2500 0.0000 0.8000 0.4250 0.3000
448-AH 0.2000 0.3000 0.4000 0.4000 0.6000 0.3750 0.1238 0.1000 0.4000 0.3302 0.3538 0.3310 0.0875 0.2000 0.4000 0.3429 0.0938
449-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.7000 0.1789 0.2000 0.6000 0.2556 0.6795 0.6598 0.1500 0.4000 1.0000 0.7000 0.1789
450-AH 0.0000 0.0000 0.2000 0.5000 0.8000 0.2625 0.2986 0.5000 0.8000 1.1376 0.0039 0.0000 0.2531 0.0000 0.8000 0.2625 0.2986
39
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1000 0.2000 0.2500 0.4000 0.1875 0.1025 0.1500 0.4000 0.5465 0.0977 0.0002 0.0781 0.0000 0.4000 0.1875 0.1025
402-AH 0.2000 0.5000 0.5500 0.6000 0.7000 0.5375 0.1204 0.1000 0.5000 0.2240 0.5200 0.4945 0.0875 0.4000 0.7000 0.5600 0.0828
403-AH 0.0000 0.1000 0.3000 0.4500 0.7000 0.3000 0.2503 0.3500 0.7000 0.8344 0.0432 0.0001 0.2000 0.0000 0.7000 0.3000 0.2503
404-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.0938 0.0443 0.0000 0.2000 0.4720 0.0330 0.0001 0.0234 0.1000 0.1000 0.1000 0.0000
405-AH 0.4000 0.5000 0.5000 0.5000 0.5000 0.4938 0.0250 0.0000 0.1000 0.0506 0.4931 0.4923 0.0117 0.5000 0.5000 0.5000 0.0000
406-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1063 0.0854 0.2000 0.2000 0.8037 0.0073 0.0000 0.0703 0.0000 0.2000 0.1063 0.0854
407-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0563 0.0512 0.1000 0.1000 0.9108 0.0018 0.0000 0.0492 0.0000 0.1000 0.0563 0.0512
408-AH 0.8000 0.9000 1.0000 1.0000 1.0000 0.9562 0.0727 0.1000 0.2000 0.0761 0.9535 0.9505 0.0602 0.8000 1.0000 0.9562 0.0727
409-AH 0.2000 0.6000 0.7500 0.8000 0.8000 0.6938 0.1569 0.2000 0.6000 0.2262 0.6658 0.6165 0.1086 0.6000 0.8000 0.7267 0.0884
410-AH 0.3000 0.5000 0.6000 0.6500 0.7000 0.5688 0.1138 0.1500 0.4000 0.2001 0.5563 0.5415 0.0891 0.3000 0.7000 0.5688 0.1138
411-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0625 0.0500 0.1000 0.1000 0.8000 0.0032 0.0000 0.0469 0.0000 0.1000 0.0625 0.0500
412-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0250 0.0447 0.0500 0.1000 1.7889 0.0001 0.0000 0.0375 0.0000 0.1000 0.0250 0.0447
413-AH 0.2000 0.3000 0.4000 0.5000 0.6000 0.3938 0.1237 0.2000 0.4000 0.3141 0.3726 0.3491 0.0961 0.2000 0.6000 0.3938 0.1237
414-AH 0.0000 0.0000 0.4500 0.7000 0.9000 0.3937 0.3255 0.7000 0.9000 0.8267 0.0173 0.0000 0.2828 0.0000 0.9000 0.3937 0.3255
415-AH 0.0000 0.0500 0.1500 0.3500 0.5000 0.1938 0.1692 0.3000 0.5000 0.8732 0.0179 0.0000 0.1438 0.0000 0.5000 0.1938 0.1692
416-AH 0.2000 0.3000 0.3000 0.4000 0.5000 0.3438 0.0727 0.1000 0.3000 0.2116 0.3364 0.3288 0.0617 0.2000 0.5000 0.3438 0.0727
417-AH 0.0000 0.1500 0.4500 0.5500 0.8000 0.3813 0.2316 0.4000 0.8000 0.6074 0.1751 0.0002 0.1961 0.0000 0.8000 0.3813 0.2316
418-AH 0.2000 0.5000 0.6000 0.7000 0.8000 0.5750 0.1612 0.2000 0.6000 0.2804 0.5462 0.5070 0.1219 0.3000 0.8000 0.6000 0.1309
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.8000 0.9000 0.9000 0.9000 0.9000 0.8812 0.0403 0.0000 0.1000 0.0457 0.8803 0.8794 0.0305 0.9000 0.9000 0.9000 0.0000
421-AH 0.4000 0.4000 0.5000 0.5500 0.7000 0.4938 0.0929 0.1500 0.3000 0.1881 0.4860 0.4786 0.0703 0.4000 0.7000 0.4938 0.0929
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.3000 0.3000 0.5000 0.6000 0.6000 0.4563 0.1263 0.3000 0.3000 0.2769 0.4388 0.4211 0.1117 0.3000 0.6000 0.4563 0.1263
424-AH 0.0000 0.2500 0.4000 0.4000 0.5000 0.3188 0.1759 0.1500 0.5000 0.5520 0.0528 0.0001 0.1391 0.2000 0.5000 0.3923 0.0862
425-AH 0.0000 0.1500 0.5000 0.5500 0.7000 0.3875 0.2306 0.4000 0.7000 0.5950 0.1026 0.0001 0.1922 0.0000 0.7000 0.3875 0.2306
426-AH 0.2000 0.2000 0.2000 0.3000 0.4000 0.2500 0.0730 0.1000 0.2000 0.2921 0.2414 0.2341 0.0625 0.2000 0.4000 0.2500 0.0730
427-AH 0.1000 0.2000 0.2500 0.3000 0.6000 0.2625 0.1310 0.1000 0.5000 0.4991 0.2328 0.2043 0.1000 0.1000 0.4000 0.2400 0.0986
428-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0313 0.0479 0.1000 0.1000 1.5319 0.0002 0.0000 0.0430 0.0000 0.1000 0.0313 0.0479
429-AH 0.0000 0.0500 0.2000 0.2500 0.4000 0.1688 0.1352 0.2000 0.4000 0.8015 0.0169 0.0000 0.1102 0.0000 0.4000 0.1688 0.1352
430-AH 0.3000 0.3500 0.5000 0.5500 0.6000 0.4563 0.1153 0.2000 0.3000 0.2527 0.4417 0.4267 0.0992 0.3000 0.6000 0.4563 0.1153
431-AH 0.0000 0.3500 0.5000 0.6000 0.8000 0.4500 0.2309 0.2500 0.8000 0.5132 0.1263 0.0001 0.1813 0.0000 0.8000 0.4500 0.2309
432-AH 0.0000 0.5000 0.5000 0.5000 0.6000 0.4500 0.1461 0.0000 0.6000 0.3246 0.2395 0.0002 0.0937 0.5000 0.5000 0.5000 0.0000
433-AH 0.0000 0.2000 0.4000 0.5000 0.6000 0.3313 0.1922 0.3000 0.6000 0.5804 0.0925 0.0001 0.1648 0.0000 0.6000 0.3313 0.1922
434-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8500 0.2683 0.2000 1.0000 0.3157 0.4377 0.0002 0.1812 0.7000 1.0000 0.9357 0.1008
435-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0688 0.0479 0.1000 0.1000 0.6963 0.0056 0.0000 0.0430 0.0000 0.1000 0.0688 0.0479
436-AH 0.0000 0.0000 0.1000 0.2000 0.4000 0.1313 0.1352 0.2000 0.4000 1.0305 0.0047 0.0000 0.1102 0.0000 0.4000 0.1313 0.1352
437-AH 0.2000 0.4000 0.5000 0.6000 0.7000 0.4875 0.1668 0.2000 0.5000 0.3422 0.4553 0.4179 0.1391 0.2000 0.7000 0.4875 0.1668
438-AH 0.1000 0.2500 0.6000 0.8000 0.8000 0.5188 0.2762 0.5500 0.7000 0.5325 0.4312 0.3385 0.2539 0.1000 0.8000 0.5188 0.2762
439-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0188 0.0403 0.0000 0.1000 2.1499 0.0001 0.0000 0.0305 0.0000 0.0000 0.0000 0.0000
440-AH 0.1000 0.2000 0.3000 0.4000 0.6000 0.3063 0.1389 0.2000 0.5000 0.4535 0.2776 0.2500 0.1086 0.1000 0.6000 0.3063 0.1389
441-AH 0.0000 0.3500 0.8000 0.9000 1.0000 0.6437 0.3949 0.5500 1.0000 0.6135 0.0499 0.0000 0.3219 0.0000 1.0000 0.6437 0.3949
442-AH 0.5000 0.6000 0.6000 0.7000 0.8000 0.6438 0.1031 0.1000 0.3000 0.1601 0.6360 0.6283 0.0867 0.5000 0.8000 0.6438 0.1031
443-AH 0.2000 0.4500 0.6000 0.6500 0.8000 0.5438 0.1590 0.2000 0.6000 0.2925 0.5164 0.4819 0.1258 0.2000 0.8000 0.5438 0.1590
444-AH 0.2000 0.5000 0.6000 0.7000 0.7000 0.5813 0.1377 0.2000 0.5000 0.2369 0.5592 0.5262 0.1008 0.4000 0.7000 0.6067 0.0961
445-AH 0.5000 0.6000 0.7000 0.8000 1.0000 0.7125 0.1544 0.2000 0.5000 0.2167 0.6966 0.6806 0.1266 0.5000 1.0000 0.7125 0.1544
446-AH 0.0000 0.0000 0.0500 0.2500 0.4000 0.1313 0.1537 0.2500 0.4000 1.1711 0.0016 0.0000 0.1352 0.0000 0.4000 0.1313 0.1537
447-AH 0.2000 0.4000 0.5000 0.7000 0.7000 0.5000 0.1789 0.3000 0.5000 0.3578 0.4642 0.4232 0.1500 0.2000 0.7000 0.5000 0.1789
448-AH 0.2000 0.2000 0.2000 0.3000 0.3000 0.2375 0.0500 0.1000 0.1000 0.2105 0.2328 0.2286 0.0469 0.2000 0.3000 0.2375 0.0500
449-AH 0.3000 0.3500 0.5000 0.5500 0.7000 0.4625 0.1258 0.2000 0.4000 0.2721 0.4460 0.4294 0.1047 0.3000 0.7000 0.4625 0.1258
450-AH 0.0000 0.1000 0.3000 0.5000 0.6000 0.3000 0.1897 0.4000 0.6000 0.6325 0.1399 0.0002 0.1625 0.0000 0.6000 0.3000 0.1897
40
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1417 0.0765 0.1333 0.2667 0.5400 0.0747 0.0002 0.0604 0.0000 0.2667 0.1417 0.0765
402-AH 0.1333 0.4667 0.4667 0.5333 0.6000 0.4667 0.1089 0.0667 0.4667 0.2333 0.4469 0.4126 0.0667 0.4000 0.6000 0.5000 0.0506
403-AH 0.0000 0.0667 0.2000 0.3667 0.7333 0.2625 0.2315 0.3000 0.7333 0.8821 0.0644 0.0001 0.1786 0.0000 0.7333 0.2625 0.2315
404-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0708 0.0295 0.0000 0.1333 0.4165 0.0419 0.0002 0.0156 0.0667 0.0667 0.0667 0.0000
405-AH 0.2667 0.3333 0.3333 0.3333 0.3333 0.3292 0.0167 0.0000 0.0667 0.0506 0.3287 0.3282 0.0078 0.3333 0.3333 0.3333 0.0000
406-AH 0.0000 0.0000 0.1000 0.1333 0.2667 0.0917 0.0803 0.1333 0.2667 0.8758 0.0064 0.0000 0.0667 0.0000 0.2667 0.0917 0.0803
407-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0375 0.0342 0.0667 0.0667 0.9108 0.0014 0.0000 0.0328 0.0000 0.0667 0.0375 0.0342
408-AH 0.8667 0.9000 1.0000 1.0000 1.0000 0.9583 0.0590 0.1000 0.1333 0.0616 0.9566 0.9548 0.0521 0.8667 1.0000 0.9583 0.0590
409-AH 0.2667 0.4667 0.5333 0.5333 0.5333 0.5000 0.0689 0.0667 0.2667 0.1377 0.4940 0.4856 0.0458 0.4667 0.5333 0.5156 0.0305
410-AH 0.3333 0.4667 0.4667 0.5333 0.6667 0.4875 0.0719 0.0667 0.3333 0.1474 0.4825 0.4774 0.0510 0.4000 0.5333 0.4857 0.0408
411-AH 0.0000 0.0000 0.0667 0.0667 0.1333 0.0458 0.0401 0.0667 0.1333 0.8758 0.0026 0.0000 0.0344 0.0000 0.1333 0.0458 0.0401
412-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0333 0.0487 0.0667 0.1333 1.4606 0.0003 0.0000 0.0417 0.0000 0.1333 0.0333 0.0487
413-AH 0.2000 0.2667 0.3333 0.3333 0.4000 0.3083 0.0683 0.0667 0.2000 0.2216 0.3006 0.2922 0.0563 0.2000 0.4000 0.3083 0.0683
414-AH 0.0000 0.0333 0.3667 0.5333 0.8667 0.3417 0.2879 0.5000 0.8667 0.8426 0.0263 0.0000 0.2417 0.0000 0.8667 0.3417 0.2879
415-AH 0.0000 0.0667 0.2000 0.3000 0.4667 0.2083 0.1458 0.2333 0.4667 0.6999 0.0580 0.0001 0.1104 0.0000 0.4667 0.2083 0.1458
416-AH 0.1333 0.3000 0.3333 0.3333 0.4667 0.3208 0.0778 0.0333 0.3333 0.2425 0.3098 0.2955 0.0521 0.2667 0.3333 0.3212 0.0270
417-AH 0.0667 0.2000 0.3667 0.5000 0.6000 0.3458 0.1673 0.3000 0.5333 0.4837 0.2956 0.2355 0.1375 0.0667 0.6000 0.3458 0.1673
418-AH 0.4000 0.5333 0.6000 0.6333 0.8667 0.5875 0.1147 0.1000 0.4667 0.1953 0.5768 0.5659 0.0771 0.4000 0.6667 0.5689 0.0904
419-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0344 0.0667 0.0667 1.0328 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0344
420-AH 0.7333 0.7333 0.8000 0.8000 0.8667 0.7833 0.0455 0.0667 0.1333 0.0581 0.7821 0.7809 0.0375 0.7333 0.8667 0.7833 0.0455
421-AH 0.2667 0.3000 0.3333 0.4000 0.5333 0.3542 0.0759 0.1000 0.2667 0.2143 0.3470 0.3403 0.0594 0.2667 0.5333 0.3542 0.0759
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2000 0.3333 0.4000 0.4667 0.4667 0.3833 0.0826 0.1333 0.2667 0.2154 0.3738 0.3628 0.0687 0.2000 0.4667 0.3833 0.0826
424-AH 0.0000 0.1667 0.3333 0.3333 0.4000 0.2500 0.1300 0.1667 0.4000 0.5198 0.0738 0.0001 0.1063 0.0000 0.4000 0.2500 0.1300
425-AH 0.0000 0.2333 0.3667 0.4667 0.5333 0.3292 0.1780 0.2333 0.5333 0.5408 0.0924 0.0001 0.1391 0.0000 0.5333 0.3292 0.1780
426-AH 0.1333 0.2000 0.2000 0.2667 0.4000 0.2333 0.0730 0.0667 0.2667 0.3130 0.2234 0.2140 0.0583 0.1333 0.3333 0.2222 0.0600
427-AH 0.1333 0.1333 0.2333 0.3333 0.4000 0.2500 0.1102 0.2000 0.2667 0.4409 0.2263 0.2045 0.1000 0.1333 0.4000 0.2500 0.1102
428-AH 0.0000 0.0000 0.0333 0.1000 0.2000 0.0542 0.0654 0.1000 0.2000 1.2075 0.0010 0.0000 0.0542 0.0000 0.2000 0.0542 0.0654
429-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1458 0.1039 0.1333 0.3333 0.7125 0.0159 0.0000 0.0807 0.0000 0.3333 0.1458 0.1039
430-AH 0.2000 0.2667 0.3667 0.5333 0.6000 0.4000 0.1377 0.2667 0.4000 0.3443 0.3777 0.3564 0.1167 0.2000 0.6000 0.4000 0.1377
431-AH 0.0000 0.2667 0.4667 0.5333 0.6000 0.3917 0.1899 0.2667 0.6000 0.4849 0.1899 0.0002 0.1531 0.0000 0.6000 0.3917 0.1899
432-AH 0.0000 0.4000 0.4333 0.4667 0.4667 0.3875 0.1338 0.0667 0.4667 0.3453 0.2057 0.0002 0.0870 0.3333 0.4667 0.4333 0.0434
433-AH 0.0000 0.1333 0.3333 0.3667 0.4667 0.2708 0.1429 0.2333 0.4667 0.5277 0.1349 0.0002 0.1203 0.0000 0.4667 0.2708 0.1429
434-AH 0.0000 0.7333 1.0000 1.0000 1.0000 0.8375 0.2732 0.2667 1.0000 0.3262 0.4305 0.0002 0.1984 0.5333 1.0000 0.8933 0.1629
435-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0667 0.0422 0.0000 0.1333 0.6325 0.0146 0.0001 0.0250 0.0667 0.0667 0.0667 0.0000
436-AH 0.0000 0.0000 0.1667 0.2667 0.4000 0.1625 0.1460 0.2667 0.4000 0.8984 0.0055 0.0000 0.1292 0.0000 0.4000 0.1625 0.1460
437-AH 0.2667 0.3000 0.4667 0.5333 0.6000 0.4333 0.1241 0.2333 0.3333 0.2864 0.4154 0.3968 0.1042 0.2667 0.6000 0.4333 0.1241
438-AH 0.2000 0.2667 0.5667 0.7000 0.8000 0.4958 0.2309 0.4333 0.6000 0.4657 0.4383 0.3815 0.2089 0.2000 0.8000 0.4958 0.2309
439-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0667 0.0689 0.1333 0.2000 1.0328 0.0019 0.0000 0.0583 0.0000 0.2000 0.0667 0.0689
440-AH 0.0667 0.2000 0.2667 0.3333 0.5333 0.2667 0.1167 0.1333 0.4667 0.4378 0.2414 0.2119 0.0833 0.0667 0.4667 0.2489 0.0958
441-AH 0.0000 0.3000 0.8000 0.8000 0.8667 0.5792 0.3500 0.5000 0.8667 0.6043 0.0792 0.0001 0.2927 0.0000 0.8667 0.5792 0.3500
442-AH 0.5333 0.5333 0.6000 0.6667 0.7333 0.6083 0.0683 0.1333 0.2000 0.1123 0.6047 0.6012 0.0594 0.5333 0.7333 0.6083 0.0683
443-AH 0.1333 0.3333 0.5333 0.6000 0.7333 0.4833 0.1695 0.2667 0.6000 0.3508 0.4476 0.4009 0.1396 0.1333 0.7333 0.4833 0.1695
444-AH 0.2667 0.4333 0.5333 0.5333 0.6667 0.4958 0.0942 0.1000 0.4000 0.1899 0.4861 0.4747 0.0719 0.4000 0.6667 0.5111 0.0742
445-AH 0.4000 0.5333 0.6333 0.7333 0.8000 0.6250 0.1285 0.2000 0.4000 0.2056 0.6113 0.5965 0.1083 0.4000 0.8000 0.6250 0.1285
446-AH 0.0000 0.0000 0.1000 0.2000 0.3333 0.1083 0.1189 0.2000 0.3333 1.0980 0.0024 0.0000 0.1000 0.0000 0.3333 0.1083 0.1189
447-AH 0.2667 0.4667 0.5333 0.6333 0.7333 0.5333 0.1288 0.1667 0.4667 0.2415 0.5166 0.4974 0.1000 0.2667 0.7333 0.5333 0.1288
448-AH 0.1333 0.1333 0.1333 0.2000 0.2000 0.1625 0.0342 0.0667 0.0667 0.2102 0.1592 0.1561 0.0328 0.1333 0.2000 0.1625 0.0342
449-AH 0.2000 0.3000 0.3667 0.4333 0.6000 0.3708 0.1003 0.1333 0.4000 0.2704 0.3581 0.3452 0.0792 0.2000 0.6000 0.3708 0.1003
450-AH 0.0000 0.0667 0.3000 0.4333 0.6000 0.2875 0.1988 0.3667 0.6000 0.6916 0.1254 0.0002 0.1625 0.0000 0.6000 0.2875 0.1988
41
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0750 0.1250 0.2000 0.2500 0.1281 0.0706 0.1250 0.2500 0.5513 0.0671 0.0002 0.0594 0.0000 0.2500 0.1281 0.0706
402-AH 0.2500 0.4000 0.4500 0.4500 0.5000 0.4125 0.0695 0.0500 0.2500 0.1685 0.4060 0.3983 0.0531 0.4000 0.5000 0.4423 0.0277
403-AH 0.0000 0.0500 0.2000 0.3250 0.7000 0.2375 0.2141 0.2750 0.7000 0.9014 0.0952 0.0002 0.1656 0.0000 0.7000 0.2375 0.2141
404-AH 0.0500 0.0500 0.0750 0.1000 0.1500 0.0781 0.0315 0.0500 0.1000 0.4027 0.0725 0.0676 0.0281 0.0500 0.1500 0.0781 0.0315
405-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
406-AH 0.0000 0.0500 0.0750 0.1000 0.3000 0.0844 0.0769 0.0500 0.3000 0.9108 0.0160 0.0001 0.0531 0.0000 0.1000 0.0607 0.0401
407-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0313 0.0250 0.0500 0.0500 0.8000 0.0021 0.0000 0.0234 0.0000 0.0500 0.0313 0.0250
408-AH 0.6500 0.8750 0.9500 1.0000 1.0000 0.9281 0.0983 0.1250 0.3500 0.1059 0.9226 0.9162 0.0738 0.8000 1.0000 0.9467 0.0667
409-AH 0.2000 0.4000 0.4000 0.4000 0.4000 0.3813 0.0512 0.0000 0.2000 0.1344 0.3767 0.3702 0.0305 0.4000 0.4000 0.4000 0.0000
410-AH 0.2500 0.3750 0.4000 0.4500 0.5000 0.4062 0.0629 0.0750 0.2500 0.1549 0.4012 0.3954 0.0453 0.3500 0.5000 0.4167 0.0488
411-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0406 0.0328 0.0500 0.1000 0.8063 0.0038 0.0000 0.0254 0.0000 0.1000 0.0406 0.0328
412-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0281 0.0364 0.0500 0.1000 1.2932 0.0005 0.0000 0.0316 0.0000 0.1000 0.0281 0.0364
413-AH 0.1500 0.2500 0.2500 0.2500 0.3000 0.2531 0.0340 0.0000 0.1500 0.1343 0.2506 0.2474 0.0176 0.2500 0.2500 0.2500 0.0000
414-AH 0.0000 0.0250 0.3000 0.5250 0.8000 0.2969 0.2604 0.5000 0.8000 0.8772 0.0231 0.0000 0.2160 0.0000 0.8000 0.2969 0.2604
415-AH 0.0000 0.1250 0.2500 0.3250 0.5000 0.2406 0.1393 0.2000 0.5000 0.5789 0.1179 0.0002 0.1105 0.0000 0.5000 0.2406 0.1393
416-AH 0.1500 0.2500 0.3250 0.3750 0.5000 0.3188 0.0873 0.1250 0.3500 0.2739 0.3065 0.2931 0.0687 0.1500 0.5000 0.3188 0.0873
417-AH 0.0500 0.2250 0.3250 0.4250 0.5000 0.3156 0.1399 0.2000 0.4500 0.4433 0.2734 0.2134 0.1094 0.0500 0.5000 0.3156 0.1399
418-AH 0.4500 0.5000 0.5500 0.5750 0.7000 0.5500 0.0658 0.0750 0.2500 0.1197 0.5464 0.5429 0.0438 0.4500 0.6500 0.5400 0.0541
419-AH 0.0000 0.0250 0.0500 0.0500 0.1000 0.0406 0.0272 0.0250 0.1000 0.6694 0.0062 0.0000 0.0203 0.0000 0.0500 0.0367 0.0229
420-AH 0.6000 0.6750 0.7000 0.7500 0.8000 0.7031 0.0591 0.0750 0.2000 0.0840 0.7008 0.6984 0.0418 0.6000 0.8000 0.7031 0.0591
421-AH 0.2000 0.2500 0.2750 0.3250 0.4000 0.2875 0.0619 0.0750 0.2000 0.2154 0.2815 0.2756 0.0500 0.2000 0.4000 0.2875 0.0619
422-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0031 0.0125 0.0000 0.0500 4.0000 0.0000 0.0000 0.0059 0.0000 0.0000 0.0000 0.0000
423-AH 0.2500 0.3500 0.3500 0.4000 0.4000 0.3531 0.0427 0.0500 0.1500 0.1209 0.3505 0.3476 0.0293 0.3000 0.4000 0.3600 0.0338
424-AH 0.0000 0.1500 0.2500 0.2500 0.3000 0.1969 0.0939 0.1000 0.3000 0.4771 0.0618 0.0001 0.0734 0.1000 0.3000 0.2250 0.0580
425-AH 0.0000 0.2250 0.3000 0.4000 0.5000 0.2938 0.1526 0.1750 0.5000 0.5195 0.0861 0.0001 0.1148 0.0000 0.5000 0.2938 0.1526
426-AH 0.1500 0.1500 0.1750 0.2250 0.3000 0.1938 0.0544 0.0750 0.1500 0.2807 0.1874 0.1818 0.0437 0.1500 0.3000 0.1938 0.0544
427-AH 0.1000 0.1500 0.2500 0.3000 0.3500 0.2313 0.0946 0.1500 0.2500 0.4093 0.2103 0.1884 0.0836 0.1000 0.3500 0.2313 0.0946
428-AH 0.0000 0.0000 0.0500 0.1250 0.1500 0.0625 0.0592 0.1250 0.1500 0.9466 0.0048 0.0000 0.0484 0.0000 0.1500 0.0625 0.0592
429-AH 0.0000 0.0500 0.1000 0.2000 0.3000 0.1219 0.0930 0.1500 0.3000 0.7634 0.0136 0.0000 0.0746 0.0000 0.3000 0.1219 0.0930
430-AH 0.1500 0.2750 0.3750 0.5000 0.6000 0.3781 0.1390 0.2250 0.4500 0.3676 0.3514 0.3228 0.1156 0.1500 0.6000 0.3781 0.1390
431-AH 0.0500 0.2750 0.4250 0.5250 0.6000 0.3906 0.1594 0.2500 0.5500 0.4080 0.3406 0.2569 0.1254 0.0500 0.6000 0.3906 0.1594
432-AH 0.0000 0.3250 0.3500 0.3500 0.3500 0.3031 0.1040 0.0250 0.3500 0.3432 0.1632 0.0002 0.0703 0.3000 0.3500 0.3462 0.0139
433-AH 0.0000 0.1500 0.2500 0.3000 0.3500 0.2313 0.1063 0.1500 0.3500 0.4595 0.1212 0.0002 0.0859 0.0000 0.3500 0.2313 0.1063
434-AH 0.0000 0.7250 0.9500 1.0000 1.0000 0.8156 0.2827 0.2750 1.0000 0.3466 0.4164 0.0002 0.2098 0.4500 1.0000 0.8700 0.1869
435-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0656 0.0397 0.0500 0.1500 0.6043 0.0229 0.0001 0.0320 0.0000 0.1500 0.0656 0.0397
436-AH 0.0000 0.0000 0.2000 0.3250 0.4000 0.1844 0.1671 0.3250 0.4000 0.9060 0.0059 0.0000 0.1488 0.0000 0.4000 0.1844 0.1671
437-AH 0.2000 0.3000 0.3500 0.5000 0.6000 0.3750 0.1183 0.2000 0.4000 0.3155 0.3581 0.3421 0.0969 0.2000 0.6000 0.3750 0.1183
438-AH 0.1500 0.2250 0.5750 0.7000 0.8000 0.4813 0.2414 0.4750 0.6500 0.5017 0.4140 0.3479 0.2211 0.1500 0.8000 0.4813 0.2414
439-AH 0.0000 0.0250 0.1000 0.1250 0.2000 0.0844 0.0676 0.1000 0.2000 0.8015 0.0101 0.0000 0.0551 0.0000 0.2000 0.0844 0.0676
440-AH 0.1000 0.2000 0.3000 0.3500 0.4000 0.2750 0.0949 0.1500 0.3000 0.3450 0.2561 0.2338 0.0781 0.1000 0.4000 0.2750 0.0949
441-AH 0.0000 0.2500 0.7250 0.7500 0.8000 0.5344 0.3081 0.5000 0.8000 0.5765 0.2179 0.0002 0.2633 0.0000 0.8000 0.5344 0.3081
442-AH 0.4000 0.5000 0.6000 0.6500 0.7000 0.5844 0.0870 0.1500 0.3000 0.1489 0.5777 0.5704 0.0715 0.4000 0.7000 0.5844 0.0870
443-AH 0.1500 0.3000 0.4250 0.5500 0.6500 0.4250 0.1402 0.2500 0.5000 0.3300 0.3993 0.3689 0.1187 0.1500 0.6500 0.4250 0.1402
444-AH 0.2000 0.4000 0.4500 0.5000 0.5500 0.4281 0.0912 0.1000 0.3500 0.2131 0.4169 0.4029 0.0684 0.3000 0.5500 0.4433 0.0704
445-AH 0.3000 0.4500 0.5250 0.5500 0.6000 0.4938 0.0946 0.1000 0.3000 0.1917 0.4841 0.4733 0.0766 0.3000 0.6000 0.4938 0.0946
446-AH 0.0000 0.0000 0.1250 0.1500 0.3000 0.1063 0.0929 0.1500 0.3000 0.8741 0.0071 0.0000 0.0750 0.0000 0.3000 0.1063 0.0929
447-AH 0.2000 0.5000 0.5500 0.5750 0.6500 0.5156 0.1044 0.0750 0.4500 0.2025 0.5013 0.4797 0.0699 0.4000 0.6500 0.5367 0.0640
448-AH 0.1000 0.1000 0.1500 0.1500 0.1500 0.1344 0.0239 0.0500 0.0500 0.1781 0.1321 0.1297 0.0215 0.1000 0.1500 0.1344 0.0239
449-AH 0.2000 0.2750 0.3250 0.4000 0.5000 0.3281 0.0894 0.1250 0.3000 0.2724 0.3162 0.3040 0.0719 0.2000 0.5000 0.3281 0.0894
450-AH 0.0500 0.1000 0.3500 0.4250 0.5000 0.2750 0.1653 0.3250 0.4500 0.6012 0.2057 0.1342 0.1469 0.0500 0.5000 0.2750 0.1653
42
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0333 0.0667 0.1000 0.1333 0.2000 0.1021 0.0479 0.0667 0.1667 0.4689 0.0896 0.0758 0.0359 0.0333 0.2000 0.1021 0.0479
402-AH 0.2000 0.3333 0.3667 0.4000 0.4333 0.3438 0.0675 0.0667 0.2333 0.1962 0.3364 0.3279 0.0508 0.3333 0.4333 0.3718 0.0329
403-AH 0.0333 0.0333 0.1500 0.3333 0.5667 0.2021 0.1836 0.3000 0.5333 0.9084 0.1265 0.0774 0.1487 0.0333 0.5667 0.2021 0.1836
404-AH 0.0333 0.0667 0.1000 0.1000 0.1333 0.0854 0.0321 0.0333 0.1000 0.3762 0.0782 0.0696 0.0266 0.0333 0.1333 0.0854 0.0321
405-AH 0.1667 0.1667 0.1667 0.1833 0.2000 0.1750 0.0149 0.0167 0.0333 0.0852 0.1744 0.1739 0.0125 0.1667 0.2000 0.1750 0.0149
406-AH 0.0000 0.0333 0.0667 0.1167 0.2000 0.0813 0.0544 0.0833 0.2000 0.6694 0.0421 0.0002 0.0432 0.0000 0.2000 0.0813 0.0544
407-AH 0.0000 0.0167 0.0333 0.0333 0.1000 0.0292 0.0240 0.0167 0.1000 0.8215 0.0047 0.0000 0.0146 0.0000 0.0333 0.0244 0.0153
408-AH 0.4333 0.8000 0.9000 0.9000 0.9667 0.8417 0.1244 0.1000 0.5333 0.1478 0.8300 0.8139 0.0812 0.7333 0.9667 0.8689 0.0623
409-AH 0.1333 0.2667 0.2667 0.3000 0.3000 0.2708 0.0419 0.0333 0.1667 0.1549 0.2666 0.2607 0.0255 0.2333 0.3000 0.2800 0.0211
410-AH 0.2333 0.2833 0.3333 0.3667 0.4000 0.3271 0.0534 0.0833 0.1667 0.1631 0.3227 0.3180 0.0419 0.2333 0.4000 0.3271 0.0534
411-AH 0.0000 0.0167 0.0333 0.0667 0.1000 0.0417 0.0355 0.0500 0.1000 0.8517 0.0059 0.0000 0.0281 0.0000 0.1000 0.0417 0.0355
412-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0313 0.0285 0.0667 0.0667 0.9108 0.0020 0.0000 0.0234 0.0000 0.0667 0.0313 0.0285
413-AH 0.1667 0.1667 0.1833 0.2000 0.2333 0.1875 0.0240 0.0333 0.0667 0.1278 0.1861 0.1848 0.0208 0.1667 0.2333 0.1875 0.0240
414-AH 0.0000 0.0833 0.2333 0.4500 0.5667 0.2521 0.1913 0.3667 0.5667 0.7588 0.1020 0.0002 0.1586 0.0000 0.5667 0.2521 0.1913
415-AH 0.0333 0.1333 0.3000 0.3833 0.5333 0.2688 0.1547 0.2500 0.5000 0.5755 0.2079 0.1335 0.1268 0.0333 0.5333 0.2688 0.1547
416-AH 0.1333 0.2667 0.3000 0.3333 0.4667 0.3021 0.0704 0.0667 0.3333 0.2331 0.2933 0.2824 0.0482 0.2333 0.3667 0.3024 0.0380
417-AH 0.0667 0.1667 0.2667 0.3167 0.4333 0.2479 0.1040 0.1500 0.3667 0.4194 0.2214 0.1894 0.0818 0.0667 0.4333 0.2479 0.1040
418-AH 0.3667 0.4833 0.5333 0.5667 0.6000 0.5208 0.0643 0.0833 0.2333 0.1234 0.5168 0.5124 0.0490 0.3667 0.6000 0.5208 0.0643
419-AH 0.0000 0.0333 0.0333 0.0667 0.0667 0.0438 0.0201 0.0333 0.0667 0.4587 0.0260 0.0002 0.0172 0.0000 0.0667 0.0438 0.0201
420-AH 0.4000 0.5167 0.6000 0.6000 0.6667 0.5667 0.0760 0.0833 0.2667 0.1341 0.5616 0.5562 0.0625 0.4000 0.6667 0.5667 0.0760
421-AH 0.1333 0.1833 0.2333 0.2500 0.2667 0.2167 0.0422 0.0667 0.1333 0.1946 0.2125 0.2080 0.0354 0.1333 0.2667 0.2167 0.0422
422-AH 0.0000 0.0000 0.0000 0.0167 0.0333 0.0083 0.0149 0.0167 0.0333 1.7889 0.0001 0.0000 0.0125 0.0000 0.0333 0.0083 0.0149
423-AH 0.1667 0.2500 0.2667 0.3000 0.3000 0.2667 0.0404 0.0500 0.1333 0.1514 0.2633 0.2595 0.0292 0.2000 0.3000 0.2733 0.0314
424-AH 0.0000 0.1333 0.1667 0.1667 0.2000 0.1375 0.0619 0.0333 0.2000 0.4503 0.0458 0.0001 0.0448 0.1333 0.2000 0.1641 0.0214
425-AH 0.0000 0.2167 0.2500 0.3333 0.4000 0.2396 0.1169 0.1167 0.4000 0.4879 0.1186 0.0002 0.0854 0.0667 0.4000 0.2714 0.0836
426-AH 0.1000 0.1333 0.1333 0.1667 0.2333 0.1521 0.0321 0.0333 0.1333 0.2113 0.1491 0.1464 0.0253 0.1000 0.2000 0.1467 0.0246
427-AH 0.0667 0.1500 0.2000 0.2333 0.3333 0.1979 0.0694 0.0833 0.2667 0.3504 0.1846 0.1688 0.0526 0.0667 0.3333 0.1979 0.0694
428-AH 0.0000 0.0333 0.0333 0.1167 0.1667 0.0688 0.0537 0.0833 0.1667 0.7812 0.0213 0.0001 0.0482 0.0000 0.1667 0.0688 0.0537
429-AH 0.0000 0.0333 0.1000 0.1333 0.2667 0.0979 0.0784 0.1000 0.2667 0.8005 0.0113 0.0000 0.0646 0.0000 0.2667 0.0979 0.0784
430-AH 0.1000 0.2333 0.3167 0.4167 0.4667 0.3167 0.1068 0.1833 0.3667 0.3373 0.2958 0.2696 0.0875 0.1000 0.4667 0.3167 0.1068
431-AH 0.1000 0.2000 0.3500 0.4500 0.5000 0.3292 0.1366 0.2500 0.4000 0.4149 0.2941 0.2518 0.1099 0.1000 0.5000 0.3292 0.1366
432-AH 0.0000 0.2167 0.2333 0.2333 0.2333 0.2021 0.0694 0.0167 0.2333 0.3432 0.1116 0.0002 0.0469 0.2000 0.2333 0.2308 0.0092
433-AH 0.0000 0.1500 0.2000 0.2333 0.2667 0.1833 0.0720 0.0833 0.2667 0.3928 0.1007 0.0002 0.0542 0.0667 0.2667 0.1956 0.0547
434-AH 0.0000 0.6833 0.8333 0.9167 0.9333 0.7396 0.2611 0.2333 0.9333 0.3531 0.3775 0.0002 0.1872 0.5333 0.9333 0.8238 0.1187
435-AH 0.0000 0.0667 0.0833 0.1000 0.1667 0.0792 0.0401 0.0333 0.1667 0.5070 0.0280 0.0001 0.0292 0.0667 0.1000 0.0846 0.0173
436-AH 0.0000 0.0167 0.2000 0.2833 0.4000 0.1729 0.1426 0.2667 0.4000 0.8246 0.0162 0.0000 0.1271 0.0000 0.4000 0.1729 0.1426
437-AH 0.2000 0.2333 0.2833 0.3333 0.4000 0.2896 0.0617 0.1000 0.2000 0.2132 0.2834 0.2772 0.0521 0.2000 0.4000 0.2896 0.0617
438-AH 0.1000 0.2000 0.6000 0.6667 0.7333 0.4604 0.2370 0.4667 0.6333 0.5148 0.3866 0.3088 0.2195 0.1000 0.7333 0.4604 0.2370
439-AH 0.0333 0.0667 0.1000 0.1667 0.2000 0.1125 0.0515 0.1000 0.1667 0.4574 0.0994 0.0847 0.0432 0.0333 0.2000 0.1125 0.0515
440-AH 0.1333 0.2333 0.2833 0.3500 0.3667 0.2771 0.0786 0.1167 0.2333 0.2837 0.2647 0.2503 0.0646 0.1333 0.3667 0.2771 0.0786
441-AH 0.0000 0.1833 0.5667 0.6167 0.6667 0.4354 0.2430 0.4333 0.6667 0.5580 0.1951 0.0002 0.2099 0.0000 0.6667 0.4354 0.2430
442-AH 0.2667 0.4500 0.5000 0.5667 0.6333 0.4979 0.0907 0.1167 0.3667 0.1821 0.4887 0.4774 0.0654 0.3667 0.6333 0.5133 0.0688
443-AH 0.1333 0.2333 0.3667 0.4833 0.5667 0.3542 0.1419 0.2500 0.4333 0.4006 0.3257 0.2967 0.1182 0.1333 0.5667 0.3542 0.1419
444-AH 0.1667 0.3167 0.3500 0.3667 0.4667 0.3375 0.0769 0.0500 0.3000 0.2277 0.3277 0.3158 0.0542 0.2667 0.4333 0.3513 0.0422
445-AH 0.2000 0.3500 0.3833 0.4000 0.4333 0.3646 0.0683 0.0500 0.2333 0.1873 0.3572 0.3482 0.0490 0.3000 0.4333 0.3857 0.0386
446-AH 0.0000 0.0167 0.1000 0.1667 0.2333 0.0938 0.0781 0.1500 0.2333 0.8335 0.0105 0.0000 0.0654 0.0000 0.2333 0.0938 0.0781
447-AH 0.1333 0.4333 0.4833 0.5333 0.5667 0.4646 0.0992 0.1000 0.4333 0.2136 0.4470 0.4146 0.0609 0.4333 0.5667 0.4867 0.0468
448-AH 0.0667 0.1000 0.1000 0.1000 0.1000 0.0958 0.0114 0.0000 0.0333 0.1188 0.0951 0.0941 0.0073 0.1000 0.1000 0.1000 0.0000
449-AH 0.1333 0.2000 0.2833 0.3167 0.3667 0.2604 0.0712 0.1167 0.2333 0.2734 0.2503 0.2392 0.0612 0.1333 0.3667 0.2604 0.0712
450-AH 0.0333 0.0833 0.2667 0.3333 0.4000 0.2188 0.1299 0.2500 0.3667 0.5940 0.1589 0.0953 0.1141 0.0333 0.4000 0.2188 0.1299
43
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0200 0.0550 0.0750 0.0900 0.0900 0.0675 0.0244 0.0350 0.0700 0.3609 0.0619 0.0547 0.0203 0.0200 0.0900 0.0675 0.0244
402-AH 0.0800 0.1200 0.1700 0.2000 0.2600 0.1606 0.0484 0.0800 0.1800 0.3011 0.1533 0.1457 0.0393 0.0800 0.2600 0.1606 0.0484
403-AH 0.0300 0.0400 0.0850 0.1700 0.2900 0.1144 0.0911 0.1300 0.2600 0.7968 0.0850 0.0656 0.0742 0.0300 0.2900 0.1144 0.0911
404-AH 0.0200 0.0300 0.0400 0.0600 0.0900 0.0469 0.0255 0.0300 0.0700 0.5437 0.0412 0.0366 0.0203 0.0200 0.0900 0.0469 0.0255
405-AH 0.0500 0.0600 0.0600 0.0600 0.0600 0.0587 0.0034 0.0000 0.0100 0.0581 0.0586 0.0585 0.0022 0.0600 0.0600 0.0600 0.0000
406-AH 0.0100 0.0300 0.0450 0.0700 0.0800 0.0481 0.0237 0.0400 0.0700 0.4930 0.0415 0.0341 0.0206 0.0100 0.0800 0.0481 0.0237
407-AH 0.0000 0.0100 0.0200 0.0200 0.0300 0.0169 0.0087 0.0100 0.0300 0.5175 0.0103 0.0002 0.0073 0.0000 0.0300 0.0169 0.0087
408-AH 0.1600 0.3750 0.3850 0.4000 0.4000 0.3675 0.0606 0.0250 0.2400 0.1649 0.3604 0.3495 0.0353 0.3600 0.4000 0.3871 0.0127
409-AH 0.0500 0.0800 0.0850 0.0900 0.0900 0.0831 0.0101 0.0100 0.0400 0.1220 0.0824 0.0815 0.0069 0.0800 0.0900 0.0853 0.0052
410-AH 0.0700 0.1200 0.1200 0.1200 0.1200 0.1144 0.0141 0.0000 0.0500 0.1235 0.1133 0.1120 0.0091 0.1200 0.1200 0.1200 0.0000
411-AH 0.0100 0.0200 0.0300 0.0300 0.0500 0.0269 0.0101 0.0100 0.0400 0.3775 0.0248 0.0225 0.0077 0.0100 0.0400 0.0253 0.0083
412-AH 0.0000 0.0200 0.0300 0.0400 0.0500 0.0287 0.0154 0.0200 0.0500 0.5370 0.0112 0.0001 0.0117 0.0000 0.0500 0.0287 0.0154
413-AH 0.0500 0.0600 0.0800 0.1050 0.1100 0.0819 0.0240 0.0450 0.0600 0.2932 0.0784 0.0749 0.0219 0.0500 0.1100 0.0819 0.0240
414-AH 0.0100 0.0250 0.0850 0.1800 0.2000 0.0988 0.0731 0.1550 0.1900 0.7403 0.0621 0.0307 0.0623 0.0100 0.2000 0.0988 0.0731
415-AH 0.0500 0.0700 0.2100 0.3200 0.3800 0.2038 0.1185 0.2500 0.3300 0.5818 0.1612 0.1185 0.1000 0.0500 0.3800 0.2038 0.1185
416-AH 0.0700 0.2700 0.3000 0.3350 0.4000 0.2950 0.0732 0.0650 0.3300 0.2482 0.2801 0.2518 0.0481 0.2500 0.4000 0.3100 0.0434
417-AH 0.0600 0.1050 0.1150 0.1300 0.1800 0.1144 0.0346 0.0250 0.1200 0.3028 0.1089 0.1029 0.0244 0.1000 0.1400 0.1182 0.0125
418-AH 0.1800 0.4900 0.5050 0.5300 0.5500 0.4931 0.0863 0.0400 0.3700 0.1750 0.4810 0.4599 0.0420 0.4800 0.5500 0.5140 0.0226
419-AH 0.0000 0.0200 0.0200 0.0200 0.0200 0.0181 0.0054 0.0000 0.0200 0.3001 0.0119 0.0002 0.0033 0.0200 0.0200 0.0200 0.0000
420-AH 0.1600 0.2350 0.2600 0.3000 0.3000 0.2569 0.0416 0.0650 0.1400 0.1619 0.2534 0.2495 0.0335 0.1600 0.3000 0.2569 0.0416
421-AH 0.0400 0.0700 0.0800 0.0800 0.0800 0.0731 0.0114 0.0100 0.0400 0.1557 0.0721 0.0707 0.0086 0.0600 0.0800 0.0753 0.0074
422-AH 0.0000 0.0050 0.0100 0.0200 0.0300 0.0119 0.0098 0.0150 0.0300 0.8262 0.0023 0.0000 0.0076 0.0000 0.0300 0.0119 0.0098
423-AH 0.0600 0.1200 0.1300 0.1400 0.1400 0.1244 0.0203 0.0200 0.0800 0.1634 0.1223 0.1193 0.0138 0.1100 0.1400 0.1287 0.0113
424-AH 0.0300 0.0400 0.0500 0.0600 0.0600 0.0500 0.0110 0.0200 0.0300 0.2191 0.0487 0.0473 0.0088 0.0300 0.0600 0.0500 0.0110
425-AH 0.0100 0.0700 0.1150 0.1300 0.1500 0.0969 0.0463 0.0600 0.1400 0.4778 0.0777 0.0500 0.0377 0.0100 0.1500 0.0969 0.0463
426-AH 0.0400 0.0850 0.1000 0.1150 0.1300 0.0981 0.0243 0.0300 0.0900 0.2475 0.0945 0.0899 0.0176 0.0600 0.1300 0.1020 0.0193
427-AH 0.0500 0.1200 0.1300 0.1300 0.1400 0.1206 0.0205 0.0100 0.0900 0.1698 0.1181 0.1141 0.0118 0.1100 0.1400 0.1253 0.0083
428-AH 0.0200 0.0400 0.0550 0.0850 0.1500 0.0656 0.0358 0.0450 0.1300 0.5451 0.0571 0.0494 0.0288 0.0200 0.1500 0.0656 0.0358
429-AH 0.0000 0.0200 0.0600 0.0800 0.1400 0.0531 0.0400 0.0600 0.1400 0.7521 0.0250 0.0002 0.0344 0.0000 0.1400 0.0531 0.0400
430-AH 0.0700 0.1200 0.1650 0.1950 0.2200 0.1556 0.0477 0.0750 0.1500 0.3068 0.1472 0.1373 0.0387 0.0700 0.2200 0.1556 0.0477
431-AH 0.0600 0.1250 0.2100 0.2450 0.2700 0.1844 0.0743 0.1200 0.2100 0.4029 0.1664 0.1455 0.0651 0.0600 0.2700 0.1844 0.0743
432-AH 0.0000 0.0700 0.0700 0.0700 0.0700 0.0625 0.0188 0.0000 0.0700 0.3008 0.0381 0.0002 0.0122 0.0700 0.0700 0.0700 0.0000
433-AH 0.0300 0.0800 0.0900 0.1050 0.1100 0.0850 0.0253 0.0250 0.0800 0.2976 0.0802 0.0738 0.0194 0.0500 0.1100 0.0921 0.0172
434-AH 0.0000 0.3000 0.3550 0.3700 0.3700 0.3113 0.1056 0.0700 0.3700 0.3394 0.1679 0.0002 0.0683 0.3000 0.3700 0.3479 0.0294
435-AH 0.0000 0.0400 0.0600 0.0750 0.1100 0.0575 0.0289 0.0350 0.1100 0.5020 0.0324 0.0002 0.0219 0.0000 0.1100 0.0575 0.0289
436-AH 0.0000 0.0300 0.1550 0.2450 0.3000 0.1406 0.1125 0.2150 0.3000 0.8001 0.0354 0.0001 0.1031 0.0000 0.3000 0.1406 0.1125
437-AH 0.0800 0.1100 0.1500 0.1700 0.1700 0.1388 0.0324 0.0600 0.0900 0.2337 0.1346 0.1299 0.0267 0.0800 0.1700 0.1388 0.0324
438-AH 0.0400 0.2150 0.4300 0.4650 0.5000 0.3425 0.1531 0.2500 0.4600 0.4469 0.2890 0.2063 0.1322 0.0400 0.5000 0.3425 0.1531
439-AH 0.0100 0.0600 0.0850 0.1150 0.1300 0.0819 0.0367 0.0550 0.1200 0.4487 0.0702 0.0520 0.0319 0.0100 0.1300 0.0819 0.0367
440-AH 0.0700 0.1300 0.1400 0.1600 0.1900 0.1381 0.0351 0.0300 0.1200 0.2539 0.1331 0.1272 0.0259 0.1000 0.1900 0.1479 0.0246
441-AH 0.0100 0.0850 0.2000 0.2200 0.2200 0.1637 0.0732 0.1350 0.2100 0.4470 0.1337 0.0773 0.0636 0.0100 0.2200 0.1637 0.0732
442-AH 0.1000 0.2100 0.2100 0.2200 0.2200 0.2037 0.0294 0.0100 0.1200 0.1443 0.2009 0.1966 0.0164 0.2000 0.2200 0.2129 0.0061
443-AH 0.0700 0.1050 0.2000 0.2300 0.2300 0.1725 0.0634 0.1250 0.1600 0.3676 0.1583 0.1417 0.0544 0.0700 0.2300 0.1725 0.0634
444-AH 0.0900 0.1500 0.1800 0.1900 0.1900 0.1638 0.0316 0.0400 0.1000 0.1930 0.1602 0.1559 0.0245 0.1000 0.1900 0.1687 0.0256
445-AH 0.0700 0.1300 0.1300 0.1300 0.1300 0.1225 0.0188 0.0000 0.0600 0.1534 0.1207 0.1184 0.0122 0.1300 0.1300 0.1300 0.0000
446-AH 0.0000 0.0100 0.0550 0.0750 0.0900 0.0456 0.0331 0.0650 0.0900 0.7246 0.0065 0.0000 0.0287 0.0000 0.0900 0.0456 0.0331
447-AH 0.0400 0.1800 0.1800 0.1800 0.1800 0.1713 0.0350 0.0000 0.1400 0.2044 0.1639 0.1477 0.0164 0.1800 0.1800 0.1800 0.0000
448-AH 0.0200 0.0300 0.0300 0.0300 0.0300 0.0294 0.0025 0.0000 0.0100 0.0851 0.0292 0.0291 0.0012 0.0300 0.0300 0.0300 0.0000
449-AH 0.0700 0.1000 0.1200 0.1550 0.2300 0.1269 0.0435 0.0550 0.1600 0.3426 0.1204 0.1145 0.0344 0.0700 0.2300 0.1269 0.0435
450-AH 0.0100 0.0300 0.1300 0.1450 0.1800 0.1019 0.0615 0.1150 0.1700 0.6032 0.0674 0.0320 0.0524 0.0100 0.1800 0.1019 0.0615
44
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0100 0.0375 0.0450 0.0450 0.0500 0.0406 0.0095 0.0075 0.0400 0.2330 0.0387 0.0351 0.0062 0.0350 0.0500 0.0427 0.0050
402-AH 0.0500 0.0850 0.0975 0.1050 0.1350 0.0941 0.0234 0.0200 0.0850 0.2487 0.0909 0.0874 0.0174 0.0600 0.1250 0.0973 0.0156
403-AH 0.0150 0.0325 0.0700 0.1100 0.1450 0.0772 0.0469 0.0775 0.1300 0.6081 0.0606 0.0443 0.0400 0.0150 0.1450 0.0772 0.0469
404-AH 0.0150 0.0200 0.0250 0.0350 0.0450 0.0275 0.0108 0.0150 0.0300 0.3928 0.0258 0.0244 0.0088 0.0150 0.0450 0.0275 0.0108
405-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
406-AH 0.0150 0.0250 0.0450 0.0450 0.0500 0.0369 0.0121 0.0200 0.0350 0.3280 0.0345 0.0318 0.0104 0.0150 0.0500 0.0369 0.0121
407-AH 0.0050 0.0100 0.0100 0.0125 0.0150 0.0103 0.0034 0.0025 0.0100 0.3297 0.0097 0.0091 0.0023 0.0100 0.0150 0.0115 0.0024
408-AH 0.1600 0.1925 0.1975 0.2000 0.2000 0.1944 0.0100 0.0075 0.0400 0.0513 0.1941 0.1938 0.0059 0.1900 0.2000 0.1967 0.0041
409-AH 0.0400 0.0400 0.0450 0.0450 0.0450 0.0428 0.0026 0.0050 0.0050 0.0598 0.0427 0.0427 0.0025 0.0400 0.0450 0.0428 0.0026
410-AH 0.0500 0.0600 0.0600 0.0600 0.0600 0.0594 0.0025 0.0000 0.0100 0.0421 0.0593 0.0593 0.0012 0.0600 0.0600 0.0600 0.0000
411-AH 0.0100 0.0125 0.0225 0.0250 0.0250 0.0194 0.0066 0.0125 0.0150 0.3381 0.0181 0.0168 0.0058 0.0100 0.0250 0.0194 0.0066
412-AH 0.0000 0.0150 0.0250 0.0325 0.0350 0.0228 0.0117 0.0175 0.0350 0.5123 0.0131 0.0002 0.0096 0.0000 0.0350 0.0228 0.0117
413-AH 0.0300 0.0400 0.0550 0.0550 0.0550 0.0484 0.0098 0.0150 0.0250 0.2020 0.0473 0.0461 0.0084 0.0300 0.0550 0.0484 0.0098
414-AH 0.0050 0.0150 0.0550 0.0950 0.1000 0.0559 0.0385 0.0800 0.0950 0.6887 0.0371 0.0196 0.0347 0.0050 0.1000 0.0559 0.0385
415-AH 0.0350 0.0925 0.1475 0.1975 0.2250 0.1394 0.0642 0.1050 0.1900 0.4609 0.1200 0.0965 0.0531 0.0350 0.2250 0.1394 0.0642
416-AH 0.1850 0.2125 0.2525 0.2650 0.2650 0.2394 0.0297 0.0525 0.0800 0.1239 0.2375 0.2355 0.0252 0.1850 0.2650 0.2394 0.0297
417-AH 0.0300 0.0550 0.0675 0.0750 0.0900 0.0656 0.0171 0.0200 0.0600 0.2608 0.0632 0.0605 0.0131 0.0300 0.0900 0.0656 0.0171
418-AH 0.3000 0.3050 0.3050 0.3050 0.3050 0.3047 0.0012 0.0000 0.0050 0.0041 0.3047 0.3047 0.0006 0.3050 0.3050 0.3050 0.0000
419-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
420-AH 0.1050 0.1275 0.1500 0.1525 0.1550 0.1403 0.0164 0.0250 0.0500 0.1167 0.1393 0.1383 0.0140 0.1050 0.1550 0.1403 0.0164
421-AH 0.0300 0.0375 0.0400 0.0400 0.0400 0.0378 0.0041 0.0025 0.0100 0.1076 0.0376 0.0373 0.0033 0.0350 0.0400 0.0396 0.0014
422-AH 0.0000 0.0050 0.0100 0.0125 0.0200 0.0087 0.0056 0.0075 0.0200 0.6431 0.0038 0.0001 0.0045 0.0000 0.0200 0.0087 0.0056
423-AH 0.0550 0.0725 0.0750 0.0750 0.0800 0.0731 0.0060 0.0025 0.0250 0.0823 0.0729 0.0726 0.0041 0.0700 0.0750 0.0742 0.0019
424-AH 0.0200 0.0275 0.0300 0.0300 0.0300 0.0281 0.0036 0.0025 0.0100 0.1278 0.0279 0.0276 0.0028 0.0250 0.0300 0.0293 0.0018
425-AH 0.0200 0.0525 0.0650 0.0725 0.0750 0.0581 0.0181 0.0200 0.0550 0.3108 0.0543 0.0488 0.0140 0.0400 0.0750 0.0636 0.0110
426-AH 0.0300 0.0700 0.0750 0.0800 0.0950 0.0731 0.0150 0.0100 0.0650 0.2057 0.0711 0.0683 0.0102 0.0650 0.0900 0.0762 0.0071
427-AH 0.0650 0.0650 0.0650 0.0700 0.0700 0.0669 0.0025 0.0050 0.0050 0.0374 0.0668 0.0668 0.0023 0.0650 0.0700 0.0669 0.0025
428-AH 0.0100 0.0275 0.0425 0.0725 0.0850 0.0484 0.0243 0.0450 0.0750 0.5011 0.0418 0.0345 0.0207 0.0100 0.0850 0.0484 0.0243
429-AH 0.0150 0.0200 0.0500 0.0625 0.0800 0.0441 0.0222 0.0425 0.0650 0.5045 0.0379 0.0319 0.0198 0.0150 0.0800 0.0441 0.0222
430-AH 0.0500 0.0850 0.1050 0.1100 0.1250 0.0962 0.0219 0.0250 0.0750 0.2272 0.0935 0.0901 0.0172 0.0500 0.1250 0.0962 0.0219
431-AH 0.0350 0.0850 0.1175 0.1350 0.1350 0.1072 0.0315 0.0500 0.1000 0.2940 0.1013 0.0934 0.0260 0.0350 0.1350 0.1072 0.0315
432-AH 0.0050 0.0350 0.0350 0.0350 0.0350 0.0322 0.0082 0.0000 0.0300 0.2535 0.0299 0.0246 0.0049 0.0350 0.0350 0.0350 0.0000
433-AH 0.0250 0.0475 0.0550 0.0550 0.0600 0.0512 0.0090 0.0075 0.0350 0.1763 0.0503 0.0490 0.0066 0.0400 0.0600 0.0530 0.0059
434-AH 0.0000 0.1600 0.1850 0.1850 0.1850 0.1656 0.0458 0.0250 0.1850 0.2767 0.0957 0.0002 0.0248 0.1550 0.1850 0.1767 0.0126
435-AH 0.0100 0.0300 0.0450 0.0550 0.0550 0.0409 0.0147 0.0250 0.0450 0.3602 0.0373 0.0321 0.0120 0.0100 0.0550 0.0409 0.0147
436-AH 0.0000 0.0150 0.1550 0.1825 0.1950 0.1134 0.0815 0.1675 0.1950 0.7188 0.0426 0.0002 0.0751 0.0000 0.1950 0.1134 0.0815
437-AH 0.0500 0.0725 0.0850 0.0850 0.0850 0.0772 0.0141 0.0125 0.0350 0.1832 0.0757 0.0741 0.0117 0.0550 0.0850 0.0811 0.0100
438-AH 0.0350 0.1900 0.2525 0.2825 0.2950 0.2287 0.0716 0.0925 0.2600 0.3129 0.2093 0.1702 0.0552 0.1350 0.2950 0.2417 0.0513
439-AH 0.0050 0.0425 0.0650 0.0650 0.0650 0.0531 0.0192 0.0225 0.0600 0.3619 0.0464 0.0322 0.0153 0.0250 0.0650 0.0563 0.0148
440-AH 0.0600 0.0775 0.0950 0.0950 0.1100 0.0878 0.0141 0.0175 0.0500 0.1610 0.0867 0.0854 0.0118 0.0600 0.1100 0.0878 0.0141
441-AH 0.0200 0.0775 0.1025 0.1100 0.1100 0.0909 0.0287 0.0325 0.0900 0.3157 0.0840 0.0729 0.0230 0.0500 0.1100 0.0957 0.0224
442-AH 0.0900 0.1100 0.1100 0.1100 0.1100 0.1081 0.0051 0.0000 0.0200 0.0474 0.1080 0.1079 0.0030 0.1100 0.1100 0.1100 0.0000
443-AH 0.0350 0.0825 0.1125 0.1150 0.1150 0.0969 0.0275 0.0325 0.0800 0.2839 0.0918 0.0850 0.0222 0.0350 0.1150 0.0969 0.0275
444-AH 0.0650 0.0925 0.1025 0.1100 0.1100 0.0994 0.0120 0.0175 0.0450 0.1203 0.0986 0.0977 0.0089 0.0900 0.1100 0.1017 0.0079
445-AH 0.0500 0.0650 0.0650 0.0650 0.0650 0.0641 0.0037 0.0000 0.0150 0.0585 0.0639 0.0638 0.0018 0.0650 0.0650 0.0650 0.0000
446-AH 0.0000 0.0050 0.0350 0.0450 0.0450 0.0278 0.0188 0.0400 0.0450 0.6758 0.0045 0.0000 0.0161 0.0000 0.0450 0.0278 0.0188
447-AH 0.0900 0.0900 0.0900 0.0900 0.0900 0.0900 0.0000 0.0000 0.0000 0.0000 0.0900 0.0900 0.0000 0.0900 0.0900 0.0900 0.0000
448-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
449-AH 0.0400 0.0600 0.0700 0.0950 0.1150 0.0762 0.0214 0.0350 0.0750 0.2808 0.0734 0.0707 0.0177 0.0400 0.1150 0.0762 0.0214
450-AH 0.0050 0.0325 0.0750 0.0900 0.1100 0.0622 0.0359 0.0575 0.1050 0.5768 0.0416 0.0187 0.0289 0.0050 0.1100 0.0622 0.0359
45
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0199 0.0005 0.0000 0.0020 0.0252 0.0199 0.0199 0.0002 0.0200 0.0200 0.0200 0.0000
402-AH 0.0280 0.0410 0.0450 0.0500 0.0560 0.0440 0.0084 0.0090 0.0280 0.1907 0.0432 0.0422 0.0063 0.0280 0.0560 0.0440 0.0084
403-AH 0.0080 0.0260 0.0420 0.0530 0.0580 0.0382 0.0178 0.0270 0.0500 0.4645 0.0324 0.0250 0.0145 0.0080 0.0580 0.0382 0.0178
404-AH 0.0080 0.0100 0.0120 0.0160 0.0180 0.0129 0.0035 0.0060 0.0100 0.2718 0.0124 0.0120 0.0028 0.0080 0.0180 0.0129 0.0035
405-AH 0.0120 0.0120 0.0120 0.0120 0.0120 0.0120 0.0000 0.0000 0.0000 0.0000 0.0120 0.0120 0.0000 0.0120 0.0120 0.0120 0.0000
406-AH 0.0080 0.0130 0.0200 0.0220 0.0220 0.0177 0.0052 0.0090 0.0140 0.2935 0.0168 0.0158 0.0043 0.0080 0.0220 0.0177 0.0052
407-AH 0.0020 0.0040 0.0060 0.0060 0.0060 0.0050 0.0013 0.0020 0.0040 0.2530 0.0048 0.0046 0.0011 0.0020 0.0060 0.0050 0.0013
408-AH 0.0680 0.0790 0.0800 0.0800 0.0800 0.0789 0.0030 0.0010 0.0120 0.0381 0.0788 0.0788 0.0017 0.0780 0.0800 0.0796 0.0008
409-AH 0.0160 0.0160 0.0180 0.0180 0.0180 0.0174 0.0010 0.0020 0.0020 0.0551 0.0173 0.0173 0.0009 0.0160 0.0180 0.0174 0.0010
410-AH 0.0200 0.0240 0.0240 0.0240 0.0240 0.0238 0.0010 0.0000 0.0040 0.0421 0.0237 0.0237 0.0005 0.0240 0.0240 0.0240 0.0000
411-AH 0.0040 0.0090 0.0100 0.0100 0.0100 0.0090 0.0021 0.0010 0.0060 0.2295 0.0087 0.0082 0.0015 0.0080 0.0100 0.0097 0.0007
412-AH 0.0020 0.0090 0.0140 0.0160 0.0180 0.0120 0.0057 0.0070 0.0160 0.4753 0.0096 0.0065 0.0045 0.0020 0.0180 0.0120 0.0057
413-AH 0.0160 0.0220 0.0220 0.0220 0.0220 0.0211 0.0019 0.0000 0.0060 0.0913 0.0210 0.0209 0.0014 0.0220 0.0220 0.0220 0.0000
414-AH 0.0100 0.0120 0.0270 0.0390 0.0400 0.0259 0.0136 0.0270 0.0300 0.5238 0.0221 0.0186 0.0129 0.0100 0.0400 0.0259 0.0136
415-AH 0.0240 0.0630 0.0840 0.0910 0.0940 0.0727 0.0245 0.0280 0.0700 0.3368 0.0671 0.0597 0.0198 0.0240 0.0940 0.0727 0.0245
416-AH 0.1020 0.1080 0.1080 0.1080 0.1080 0.1074 0.0017 0.0000 0.0060 0.0163 0.1074 0.1073 0.0011 0.1080 0.1080 0.1080 0.0000
417-AH 0.0140 0.0230 0.0330 0.0360 0.0360 0.0295 0.0072 0.0130 0.0220 0.2432 0.0285 0.0274 0.0063 0.0140 0.0360 0.0295 0.0072
418-AH 0.1220 0.1220 0.1220 0.1220 0.1220 0.1220 0.0000 0.0000 0.0000 0.0000 0.1220 0.1220 0.0000 0.1220 0.1220 0.1220 0.0000
419-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
420-AH 0.0500 0.0570 0.0600 0.0610 0.0620 0.0586 0.0036 0.0040 0.0120 0.0607 0.0585 0.0584 0.0027 0.0520 0.0620 0.0592 0.0028
421-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
422-AH 0.0020 0.0050 0.0060 0.0080 0.0100 0.0063 0.0020 0.0030 0.0080 0.3279 0.0059 0.0054 0.0016 0.0020 0.0100 0.0063 0.0020
423-AH 0.0300 0.0300 0.0320 0.0320 0.0320 0.0313 0.0010 0.0020 0.0020 0.0320 0.0312 0.0312 0.0009 0.0300 0.0320 0.0313 0.0010
424-AH 0.0080 0.0120 0.0120 0.0120 0.0120 0.0118 0.0010 0.0000 0.0040 0.0851 0.0117 0.0116 0.0005 0.0120 0.0120 0.0120 0.0000
425-AH 0.0180 0.0250 0.0320 0.0320 0.0340 0.0285 0.0057 0.0070 0.0160 0.2010 0.0279 0.0272 0.0049 0.0180 0.0340 0.0285 0.0057
426-AH 0.0200 0.0380 0.0390 0.0420 0.0460 0.0384 0.0058 0.0040 0.0260 0.1501 0.0378 0.0371 0.0034 0.0320 0.0460 0.0396 0.0031
427-AH 0.0280 0.0280 0.0280 0.0280 0.0280 0.0280 0.0000 0.0000 0.0000 0.0000 0.0280 0.0280 0.0000 0.0280 0.0280 0.0280 0.0000
428-AH 0.0060 0.0210 0.0280 0.0360 0.0360 0.0259 0.0097 0.0150 0.0300 0.3749 0.0235 0.0202 0.0079 0.0060 0.0360 0.0259 0.0097
429-AH 0.0100 0.0140 0.0260 0.0330 0.0400 0.0245 0.0105 0.0190 0.0300 0.4294 0.0222 0.0200 0.0092 0.0100 0.0400 0.0245 0.0105
430-AH 0.0220 0.0400 0.0490 0.0540 0.0560 0.0460 0.0111 0.0140 0.0340 0.2408 0.0444 0.0425 0.0088 0.0220 0.0560 0.0460 0.0111
431-AH 0.0260 0.0420 0.0520 0.0540 0.0540 0.0474 0.0092 0.0120 0.0280 0.1942 0.0463 0.0451 0.0074 0.0260 0.0540 0.0474 0.0092
432-AH 0.0080 0.0140 0.0140 0.0140 0.0140 0.0133 0.0020 0.0000 0.0060 0.1547 0.0131 0.0128 0.0013 0.0140 0.0140 0.0140 0.0000
433-AH 0.0200 0.0240 0.0240 0.0240 0.0240 0.0236 0.0011 0.0000 0.0040 0.0460 0.0236 0.0236 0.0007 0.0240 0.0240 0.0240 0.0000
434-AH 0.0000 0.0660 0.0740 0.0740 0.0740 0.0668 0.0183 0.0080 0.0740 0.2737 0.0408 0.0002 0.0094 0.0640 0.0740 0.0712 0.0043
435-AH 0.0120 0.0190 0.0220 0.0240 0.0240 0.0206 0.0040 0.0050 0.0120 0.1930 0.0202 0.0197 0.0031 0.0120 0.0240 0.0206 0.0040
436-AH 0.0000 0.0180 0.0780 0.0780 0.0800 0.0540 0.0330 0.0600 0.0800 0.6116 0.0255 0.0002 0.0303 0.0000 0.0800 0.0540 0.0330
437-AH 0.0220 0.0300 0.0340 0.0340 0.0340 0.0316 0.0043 0.0040 0.0120 0.1370 0.0313 0.0309 0.0036 0.0240 0.0340 0.0323 0.0036
438-AH 0.0700 0.1100 0.1150 0.1200 0.1220 0.1104 0.0154 0.0100 0.0520 0.1395 0.1092 0.1077 0.0112 0.0960 0.1220 0.1154 0.0070
439-AH 0.0080 0.0190 0.0280 0.0320 0.0320 0.0248 0.0088 0.0130 0.0240 0.3552 0.0227 0.0200 0.0071 0.0080 0.0320 0.0248 0.0088
440-AH 0.0320 0.0390 0.0420 0.0440 0.0440 0.0404 0.0042 0.0050 0.0120 0.1043 0.0402 0.0399 0.0033 0.0320 0.0440 0.0404 0.0042
441-AH 0.0100 0.0370 0.0430 0.0440 0.0440 0.0389 0.0093 0.0070 0.0340 0.2391 0.0370 0.0337 0.0067 0.0280 0.0440 0.0408 0.0054
442-AH 0.0440 0.0440 0.0440 0.0440 0.0440 0.0440 0.0000 0.0000 0.0000 0.0000 0.0440 0.0440 0.0000 0.0440 0.0440 0.0440 0.0000
443-AH 0.0200 0.0400 0.0460 0.0460 0.0460 0.0410 0.0093 0.0060 0.0260 0.2274 0.0397 0.0381 0.0075 0.0340 0.0460 0.0451 0.0033
444-AH 0.0300 0.0430 0.0440 0.0440 0.0440 0.0425 0.0037 0.0010 0.0140 0.0868 0.0423 0.0421 0.0023 0.0420 0.0440 0.0437 0.0007
445-AH 0.0240 0.0260 0.0260 0.0260 0.0260 0.0259 0.0005 0.0000 0.0020 0.0193 0.0259 0.0259 0.0002 0.0260 0.0260 0.0260 0.0000
446-AH 0.0000 0.0060 0.0160 0.0180 0.0180 0.0124 0.0073 0.0120 0.0180 0.5937 0.0036 0.0001 0.0063 0.0000 0.0180 0.0124 0.0073
447-AH 0.0360 0.0360 0.0360 0.0360 0.0360 0.0360 0.0000 0.0000 0.0000 0.0000 0.0360 0.0360 0.0000 0.0360 0.0360 0.0360 0.0000
448-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
449-AH 0.0240 0.0300 0.0340 0.0400 0.0460 0.0348 0.0071 0.0100 0.0220 0.2047 0.0341 0.0334 0.0056 0.0240 0.0460 0.0348 0.0071
450-AH 0.0040 0.0220 0.0400 0.0430 0.0440 0.0320 0.0163 0.0210 0.0400 0.5088 0.0239 0.0137 0.0135 0.0040 0.0440 0.0320 0.0163
46
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-BG-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
402-AH 0.0180 0.0240 0.0260 0.0270 0.0290 0.0251 0.0033 0.0030 0.0110 0.1331 0.0248 0.0246 0.0025 0.0200 0.0290 0.0260 0.0023
403-AH 0.0050 0.0170 0.0265 0.0285 0.0290 0.0222 0.0085 0.0115 0.0240 0.3846 0.0198 0.0164 0.0070 0.0050 0.0290 0.0222 0.0085
404-AH 0.0050 0.0065 0.0085 0.0090 0.0090 0.0077 0.0015 0.0025 0.0040 0.1999 0.0075 0.0074 0.0014 0.0050 0.0090 0.0077 0.0015
405-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
406-AH 0.0050 0.0080 0.0110 0.0110 0.0110 0.0096 0.0023 0.0030 0.0060 0.2365 0.0093 0.0089 0.0019 0.0050 0.0110 0.0096 0.0023
407-AH 0.0020 0.0025 0.0030 0.0030 0.0030 0.0028 0.0004 0.0005 0.0010 0.1626 0.0027 0.0027 0.0004 0.0020 0.0030 0.0028 0.0004
408-AH 0.0350 0.0400 0.0400 0.0400 0.0400 0.0396 0.0013 0.0000 0.0050 0.0318 0.0396 0.0396 0.0007 0.0400 0.0400 0.0400 0.0000
409-AH 0.0080 0.0080 0.0090 0.0090 0.0090 0.0087 0.0005 0.0010 0.0010 0.0551 0.0087 0.0087 0.0004 0.0080 0.0090 0.0087 0.0005
410-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0119 0.0005 0.0000 0.0020 0.0421 0.0119 0.0119 0.0002 0.0120 0.0120 0.0120 0.0000
411-AH 0.0020 0.0050 0.0050 0.0050 0.0050 0.0046 0.0009 0.0000 0.0030 0.1914 0.0045 0.0043 0.0006 0.0050 0.0050 0.0050 0.0000
412-AH 0.0010 0.0060 0.0085 0.0090 0.0100 0.0072 0.0031 0.0030 0.0090 0.4229 0.0060 0.0041 0.0024 0.0030 0.0100 0.0081 0.0020
413-AH 0.0080 0.0110 0.0110 0.0110 0.0110 0.0108 0.0007 0.0000 0.0030 0.0694 0.0108 0.0107 0.0004 0.0110 0.0110 0.0110 0.0000
414-AH 0.0070 0.0080 0.0185 0.0200 0.0200 0.0146 0.0059 0.0120 0.0130 0.4048 0.0133 0.0120 0.0055 0.0070 0.0200 0.0146 0.0059
415-AH 0.0190 0.0400 0.0450 0.0465 0.0470 0.0407 0.0095 0.0065 0.0280 0.2341 0.0393 0.0375 0.0075 0.0360 0.0470 0.0449 0.0029
416-AH 0.0530 0.0540 0.0540 0.0540 0.0540 0.0539 0.0003 0.0000 0.0010 0.0063 0.0539 0.0539 0.0002 0.0540 0.0540 0.0540 0.0000
417-AH 0.0120 0.0120 0.0180 0.0180 0.0180 0.0158 0.0028 0.0060 0.0060 0.1792 0.0156 0.0153 0.0026 0.0120 0.0180 0.0158 0.0028
418-AH 0.0610 0.0610 0.0610 0.0610 0.0610 0.0610 0.0000 0.0000 0.0000 0.0000 0.0610 0.0610 0.0000 0.0610 0.0610 0.0610 0.0000
419-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
420-AH 0.0260 0.0290 0.0305 0.0310 0.0310 0.0299 0.0015 0.0020 0.0050 0.0487 0.0298 0.0298 0.0012 0.0260 0.0310 0.0299 0.0015
421-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
422-AH 0.0030 0.0040 0.0040 0.0050 0.0050 0.0042 0.0007 0.0010 0.0020 0.1791 0.0041 0.0041 0.0006 0.0030 0.0050 0.0042 0.0007
423-AH 0.0150 0.0160 0.0160 0.0160 0.0160 0.0158 0.0004 0.0000 0.0010 0.0255 0.0158 0.0158 0.0003 0.0160 0.0160 0.0160 0.0000
424-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0059 0.0003 0.0000 0.0010 0.0421 0.0059 0.0059 0.0001 0.0060 0.0060 0.0060 0.0000
425-AH 0.0100 0.0130 0.0165 0.0170 0.0170 0.0151 0.0024 0.0040 0.0070 0.1599 0.0149 0.0147 0.0021 0.0100 0.0170 0.0151 0.0024
426-AH 0.0150 0.0200 0.0210 0.0230 0.0240 0.0211 0.0021 0.0030 0.0090 0.1006 0.0210 0.0209 0.0015 0.0200 0.0240 0.0215 0.0014
427-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
428-AH 0.0050 0.0125 0.0170 0.0180 0.0180 0.0147 0.0044 0.0055 0.0130 0.2966 0.0139 0.0127 0.0036 0.0050 0.0180 0.0147 0.0044
429-AH 0.0080 0.0100 0.0150 0.0180 0.0210 0.0144 0.0046 0.0080 0.0130 0.3199 0.0137 0.0131 0.0036 0.0080 0.0210 0.0144 0.0046
430-AH 0.0140 0.0215 0.0270 0.0280 0.0290 0.0244 0.0052 0.0065 0.0150 0.2149 0.0237 0.0230 0.0043 0.0140 0.0290 0.0244 0.0052
431-AH 0.0150 0.0230 0.0260 0.0270 0.0270 0.0244 0.0037 0.0040 0.0120 0.1534 0.0241 0.0237 0.0028 0.0170 0.0270 0.0250 0.0029
432-AH 0.0040 0.0070 0.0070 0.0070 0.0070 0.0067 0.0009 0.0000 0.0030 0.1306 0.0066 0.0065 0.0005 0.0070 0.0070 0.0070 0.0000
433-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0119 0.0005 0.0000 0.0020 0.0421 0.0119 0.0119 0.0002 0.0120 0.0120 0.0120 0.0000
434-AH 0.0000 0.0340 0.0370 0.0370 0.0370 0.0336 0.0091 0.0030 0.0370 0.2722 0.0214 0.0002 0.0046 0.0320 0.0370 0.0358 0.0019
435-AH 0.0080 0.0105 0.0110 0.0120 0.0120 0.0108 0.0014 0.0015 0.0040 0.1273 0.0107 0.0106 0.0010 0.0090 0.0120 0.0112 0.0009
436-AH 0.0040 0.0130 0.0395 0.0400 0.0400 0.0286 0.0154 0.0270 0.0360 0.5397 0.0220 0.0143 0.0140 0.0040 0.0400 0.0286 0.0154
437-AH 0.0120 0.0160 0.0170 0.0170 0.0170 0.0162 0.0016 0.0010 0.0050 0.0989 0.0161 0.0160 0.0012 0.0150 0.0170 0.0167 0.0007
438-AH 0.0430 0.0565 0.0595 0.0600 0.0620 0.0572 0.0054 0.0035 0.0190 0.0945 0.0569 0.0566 0.0038 0.0540 0.0620 0.0590 0.0023
439-AH 0.0050 0.0095 0.0150 0.0170 0.0170 0.0131 0.0046 0.0075 0.0120 0.3485 0.0121 0.0108 0.0037 0.0050 0.0170 0.0131 0.0046
440-AH 0.0160 0.0210 0.0220 0.0220 0.0220 0.0214 0.0015 0.0010 0.0060 0.0702 0.0213 0.0212 0.0009 0.0210 0.0220 0.0217 0.0005
441-AH 0.0070 0.0200 0.0215 0.0220 0.0220 0.0202 0.0037 0.0020 0.0150 0.1834 0.0197 0.0187 0.0021 0.0190 0.0220 0.0211 0.0012
442-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
443-AH 0.0120 0.0225 0.0230 0.0230 0.0230 0.0216 0.0031 0.0005 0.0110 0.1422 0.0214 0.0210 0.0021 0.0220 0.0230 0.0229 0.0003
444-AH 0.0170 0.0220 0.0220 0.0220 0.0220 0.0217 0.0012 0.0000 0.0050 0.0576 0.0216 0.0216 0.0006 0.0220 0.0220 0.0220 0.0000
445-AH 0.0130 0.0130 0.0130 0.0130 0.0130 0.0130 0.0000 0.0000 0.0000 0.0000 0.0130 0.0130 0.0000 0.0130 0.0130 0.0130 0.0000
446-AH 0.0000 0.0050 0.0085 0.0090 0.0090 0.0068 0.0031 0.0040 0.0090 0.4523 0.0044 0.0002 0.0025 0.0000 0.0090 0.0068 0.0031
447-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000
448-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
449-AH 0.0150 0.0160 0.0180 0.0205 0.0230 0.0184 0.0028 0.0045 0.0080 0.1499 0.0182 0.0180 0.0022 0.0150 0.0230 0.0184 0.0028
450-AH 0.0030 0.0135 0.0210 0.0215 0.0220 0.0170 0.0078 0.0080 0.0190 0.4582 0.0139 0.0097 0.0065 0.0030 0.0220 0.0170 0.0078
47
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Ad−Hoc Monolingual Czech Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
unine [Experiment UNINECZ4; MAP 42.42%; Pooled]
jhu−apl [Experiment APLMOCSTD4; MAP 35.86%; Not Pooled]
90% opentext [Experiment OTCS07TDE; MAP 34.84%; Not Pooled]
prague [Experiment PRAGUE01; MAP 34.19%; Pooled]
daedalus [Experiment CSFSCS2S; MAP 32.03%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
unine [Experiment UNINECZ4; MAP 42.42%; Pooled]
jhu−apl [Experiment APLMOCSTD4; MAP 35.86%; Not Pooled]
opentext [Experiment OTCS07TDE; MAP 34.84%; Not Pooled]
0.8
prague [Experiment PRAGUE01; MAP 34.19%; Pooled]
daedalus [Experiment CSFSCS2S; MAP 32.03%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Monolingual Czech Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
unine [Experiment UNINECZ4; MAP 42.42%; Pooled]
jhu−apl [Experiment APLMOCSTD4; MAP 35.86%; Not Pooled]
opentext [Experiment OTCS07TDE; MAP 34.84%; Not Pooled]
0.8
prague [Experiment PRAGUE01; MAP 34.19%; Pooled]
daedalus [Experiment CSFSCS2S; MAP 32.03%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
48
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Ad−Hoc Monolingual Czech Task − Box Plot of the Topics
unine [Experiment UNINECZ4; MAP 42.42%; Pooled]
unine [Experiment UNINECZ3; MAP 42.25%; Not Pooled]
unine [Experiment UNINECZ1; MAP 41.67%; Pooled]
unine [Experiment UNINECZ2; MAP 41.34%; Not Pooled]
jhu−apl [Experiment APLMOCSTD4; MAP 35.86%; Not Pooled]
jhu−apl [Experiment APLMOCSTD5; MAP 35.07%; Pooled]
opentext [Experiment OTCS07TDE; MAP 34.84%; Not Pooled]
prague [Experiment PRAGUE01; MAP 34.19%; Pooled]
prague [Experiment PRAGUE02; MAP 33.36%; Pooled]
jhu−apl [Experiment APLMOCSTDN4; MAP 32.87%; Pooled]
opentext [Experiment OTCS07TD; MAP 32.67%; Pooled]
daedalus [Experiment CSFSCS2S; MAP 32.03%; Pooled]
prague [Experiment PRAGUE03; MAP 32.02%; Pooled]
Experiments
opentext [Experiment OTCS07T; MAP 31.51%; Pooled]
prague [Experiment PRAGUE04; MAP 29.69%; Not Pooled]
alicante [Experiment IRNCZEXP2N; MAP 27.68%; Pooled]
opentext [Experiment OTCS07TDNZ; MAP 26.60%; Pooled]
bohemia [Experiment UWB_TD_L_BM25; MAP 26.38%; Pooled]
alicante [Experiment IRNCZEXP3; MAP 24.84%; Pooled]
alicante [Experiment IRNCZEXP2; MAP 24.81%; Not Pooled]
bohemia [Experiment UWB_TDN_L_BM25; MAP 23.73%; Pooled]
bohemia [Experiment UWB_TDN_W_BM25; MAP 23.15%; Not Pooled]
alicante [Experiment IRNCZNEXP; MAP 20.92%; Not Pooled]
bohemia [Experiment UWB_TD_W_RAW_FB; MAP 12.05%; Not Pooled]
isi [Experiment CZTD; MAP 11.75%; Pooled]
isi [Experiment ISICZNS; MAP 9.85%; Not Pooled]
isi [Experiment ISICL; MAP 9.85%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
49
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
10.2455/TUKEY_T_TEST.2654ECBA17A46006F564F803675F163C
Ad−Hoc Monolingual Czech Task − Tukey T test with "top group" highlighted
UNINECZ4
UNINECZ3
UNINECZ2
UNINECZ1
APLMOCSTD4
OTCS07TDE
PRAGUE02
APLMOCSTD5
PRAGUE01
OTCS07TD
CSFSCS2S
Experiments
APLMOCSTDN4
PRAGUE03
OTCS07T
PRAGUE04
OTCS07TDNZ
IRNCZEXP2N
UWB_TD_L_BM25
UWB_TDN_L_BM25
IRNCZEXP3
IRNCZEXP2
UWB_TDN_W_BM25
IRNCZNEXP
CZTD
UWB_TD_W_RAW_FB
ISICL
ISICZNS
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
arcsin(sqrt(Average Precsion))
50
51
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Ad−Hoc Monolingual Czech Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
unine [Experiment UNINECZ4; R−Prec 37.82%; Pooled]
jhu−apl [Experiment APLMOCSTD4; R−Prec 34.67%; Not Pooled]
90% opentext [Experiment OTCS07TDE; R−Prec 33.03%; Not Pooled]
prague [Experiment PRAGUE01; R−Prec 32.01%; Pooled]
daedalus [Experiment CSFSCS2S; R−Prec 31.96%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
unine [Experiment UNINECZ4; R−Prec 37.82%; Pooled]
jhu−apl [Experiment APLMOCSTD4; R−Prec 34.67%; Not Pooled]
opentext [Experiment OTCS07TDE; R−Prec 33.03%; Not Pooled]
0.8
prague [Experiment PRAGUE01; R−Prec 32.01%; Pooled]
daedalus [Experiment CSFSCS2S; R−Prec 31.96%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Monolingual Czech Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
unine [Experiment UNINECZ4; R−Prec 37.82%; Pooled]
jhu−apl [Experiment APLMOCSTD4; R−Prec 34.67%; Not Pooled]
opentext [Experiment OTCS07TDE; R−Prec 33.03%; Not Pooled]
0.8
prague [Experiment PRAGUE01; R−Prec 32.01%; Pooled]
daedalus [Experiment CSFSCS2S; R−Prec 31.96%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
52
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Ad−Hoc Monolingual Czech Task − Box Plot of the Topics
unine [Experiment UNINECZ1; R−Prec 39.14%; Pooled]
unine [Experiment UNINECZ3; R−Prec 38.40%; Not Pooled]
unine [Experiment UNINECZ2; R−Prec 38.06%; Not Pooled]
unine [Experiment UNINECZ4; R−Prec 37.82%; Pooled]
jhu−apl [Experiment APLMOCSTD4; R−Prec 34.67%; Not Pooled]
jhu−apl [Experiment APLMOCSTD5; R−Prec 34.20%; Pooled]
prague [Experiment PRAGUE02; R−Prec 33.49%; Pooled]
opentext [Experiment OTCS07TDE; R−Prec 33.03%; Not Pooled]
opentext [Experiment OTCS07TD; R−Prec 32.88%; Pooled]
prague [Experiment PRAGUE01; R−Prec 32.01%; Pooled]
daedalus [Experiment CSFSCS2S; R−Prec 31.96%; Pooled]
prague [Experiment PRAGUE03; R−Prec 31.47%; Pooled]
jhu−apl [Experiment APLMOCSTDN4; R−Prec 31.33%; Pooled]
Experiments
opentext [Experiment OTCS07T; R−Prec 29.72%; Pooled]
prague [Experiment PRAGUE04; R−Prec 28.86%; Not Pooled]
opentext [Experiment OTCS07TDNZ; R−Prec 28.12%; Pooled]
bohemia [Experiment UWB_TD_L_BM25; R−Prec 27.91%; Pooled]
alicante [Experiment IRNCZEXP2N; R−Prec 27.44%; Pooled]
alicante [Experiment IRNCZEXP3; R−Prec 24.96%; Pooled]
bohemia [Experiment UWB_TDN_W_BM25; R−Prec 24.82%; Not Pooled]
alicante [Experiment IRNCZEXP2; R−Prec 24.16%; Not Pooled]
bohemia [Experiment UWB_TDN_L_BM25; R−Prec 23.45%; Pooled]
alicante [Experiment IRNCZNEXP; R−Prec 22.08%; Not Pooled]
isi [Experiment CZTD; R−Prec 13.82%; Pooled]
bohemia [Experiment UWB_TD_W_RAW_FB; R−Prec 12.18%; Not Pooled]
isi [Experiment ISICZNS; R−Prec 11.12%; Not Pooled]
isi [Experiment ISICL; R−Prec 11.12%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
53
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Ad−Hoc Monolingual Czech Task − Tukey T test with "top group" highlighted
UNINECZ1
UNINECZ2
UNINECZ3
UNINECZ4
PRAGUE02
APLMOCSTD4
APLMOCSTD5
OTCS07TD
CSFSCS2S
OTCS07TDE
PRAGUE01
Experiments
PRAGUE03
OTCS07T
APLMOCSTDN4
PRAGUE04
OTCS07TDNZ
UWB_TD_L_BM25
IRNCZEXP2N
UWB_TDN_W_BM25
IRNCZEXP3
UWB_TDN_L_BM25
IRNCZEXP2
IRNCZNEXP
CZTD
ISICL
ISICZNS
UWB_TD_W_RAW_FB
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
arcsin(sqrt(R−Precision))
54
55
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 9.00 10.00 10.00 11.00 11.00 10.33 0.68 1.00 2.00 0.07 10.31 10.29 0.59 9.00 11.00 10.33 0.68
402-AH 20.00 28.00 31.00 36.00 40.00 31.63 6.02 8.00 20.00 0.19 31.04 30.42 4.88 20.00 40.00 31.63 6.02
403-AH 1.00 3.00 5.00 5.00 5.00 3.85 1.41 2.00 4.00 0.37 3.50 3.04 1.22 1.00 5.00 3.85 1.41
404-AH 40.00 44.00 44.00 44.00 44.00 43.48 1.16 0.00 4.00 0.03 43.47 43.45 0.81 44.00 44.00 44.00 0.00
405-AH 5.00 7.00 7.00 7.00 7.00 6.81 0.48 0.00 2.00 0.07 6.80 6.77 0.32 7.00 7.00 7.00 0.00
406-AH 6.00 11.00 12.00 12.00 13.00 11.15 1.81 1.00 7.00 0.16 10.96 10.72 1.27 10.00 13.00 11.83 0.58
407-AH 2.00 7.00 7.00 7.00 7.00 6.30 1.54 0.00 5.00 0.24 6.02 5.61 1.15 7.00 7.00 7.00 0.00
408-AH 13.00 15.00 16.00 16.00 16.00 15.30 0.95 1.00 3.00 0.06 15.27 15.23 0.78 14.00 16.00 15.48 0.71
409-AH 4.00 5.00 6.00 6.00 6.00 5.44 0.70 1.00 2.00 0.13 5.40 5.35 0.62 4.00 6.00 5.44 0.70
410-AH 11.00 16.00 16.00 16.00 16.00 15.44 1.25 0.00 5.00 0.08 15.39 15.32 0.86 16.00 16.00 16.00 0.00
411-AH 0.00 1.00 2.00 2.00 2.00 1.63 0.63 1.00 2.00 0.39 0.69 0.00 0.52 0.00 2.00 1.63 0.63
412-AH 11.00 14.25 19.00 21.75 22.00 17.85 3.74 7.50 11.00 0.21 17.45 17.02 3.35 11.00 22.00 17.85 3.74
413-AH 1.00 2.00 2.00 2.00 2.00 1.89 0.32 0.00 1.00 0.17 1.85 1.80 0.20 2.00 2.00 2.00 0.00
414-AH 4.00 11.00 12.00 12.00 12.00 10.78 2.42 1.00 8.00 0.22 10.36 9.71 1.60 10.00 12.00 11.58 0.72
415-AH 18.00 36.00 42.00 45.00 47.00 39.78 7.97 9.00 29.00 0.20 38.73 37.31 5.93 27.00 47.00 41.52 5.11
416-AH 8.00 9.00 9.00 9.00 9.00 8.93 0.27 0.00 1.00 0.03 8.92 8.92 0.14 9.00 9.00 9.00 0.00
417-AH 11.00 36.00 38.00 39.00 40.00 35.67 6.67 3.00 29.00 0.19 34.72 33.11 4.44 33.00 40.00 38.09 1.93
418-AH 3.00 8.00 8.00 8.00 8.00 7.22 1.69 0.00 5.00 0.23 6.95 6.56 1.27 8.00 8.00 8.00 0.00
419-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
420-AH 5.00 9.00 10.00 11.00 11.00 9.44 1.76 2.00 6.00 0.19 9.25 9.00 1.32 6.00 11.00 9.80 1.26
421-AH 3.00 5.00 7.00 7.00 7.00 6.11 1.22 2.00 4.00 0.20 5.97 5.80 1.05 3.00 7.00 6.11 1.22
422-AH 4.00 9.00 13.00 14.75 18.00 12.22 3.80 5.75 14.00 0.31 11.55 10.74 3.03 4.00 18.00 12.22 3.80
423-AH 6.00 6.00 6.00 6.00 6.00 6.00 0.00 0.00 0.00 0.00 6.00 6.00 0.00 6.00 6.00 6.00 0.00
424-AH 2.00 3.25 4.00 4.00 4.00 3.67 0.62 0.75 2.00 0.17 3.60 3.52 0.49 3.00 4.00 3.80 0.41
425-AH 3.00 8.25 9.00 10.00 10.00 8.56 2.17 1.75 7.00 0.25 8.15 7.56 1.62 6.00 10.00 9.21 1.14
426-AH 0.00 17.00 19.00 21.00 22.00 17.48 5.56 4.00 22.00 0.32 10.18 0.00 3.99 12.00 22.00 18.72 3.40
427-AH 6.00 8.00 8.00 8.00 8.00 7.81 0.48 0.00 2.00 0.06 7.80 7.78 0.32 8.00 8.00 8.00 0.00
428-AH 2.00 4.00 5.00 5.00 6.00 4.33 1.11 1.00 4.00 0.26 4.16 3.93 0.91 3.00 6.00 4.62 0.77
429-AH 12.00 22.25 28.00 29.00 36.00 25.85 6.45 6.75 24.00 0.25 24.94 23.85 5.06 17.00 36.00 26.96 5.27
430-AH 0.00 1.00 2.00 3.00 4.00 1.85 1.29 2.00 4.00 0.70 0.31 0.00 1.12 0.00 4.00 1.85 1.29
431-AH 2.00 15.00 22.00 22.00 22.00 18.59 5.26 7.00 20.00 0.28 17.20 13.89 4.13 10.00 22.00 19.23 4.17
432-AH 3.00 7.00 7.00 7.00 7.00 6.67 0.88 0.00 4.00 0.13 6.59 6.47 0.54 7.00 7.00 7.00 0.00
433-AH 8.00 13.00 17.00 19.00 19.00 15.85 3.54 6.00 11.00 0.22 15.40 14.87 2.95 8.00 19.00 15.85 3.54
434-AH 9.00 11.25 13.00 13.00 13.00 12.04 1.43 1.75 4.00 0.12 11.95 11.85 1.14 9.00 13.00 12.04 1.43
435-AH 6.00 12.00 13.00 17.75 20.00 14.52 4.07 5.75 14.00 0.28 13.89 13.18 3.57 6.00 20.00 14.52 4.07
436-AH 0.00 2.00 8.00 11.50 12.00 6.56 4.67 9.50 12.00 0.71 0.86 0.00 4.27 0.00 12.00 6.56 4.67
437-AH 7.00 8.00 8.00 8.00 8.00 7.93 0.27 0.00 1.00 0.03 7.92 7.92 0.14 8.00 8.00 8.00 0.00
438-AH 17.00 25.25 28.00 29.00 30.00 26.44 3.60 3.75 13.00 0.14 26.17 25.84 2.70 22.00 30.00 27.20 2.45
439-AH 0.00 2.00 3.00 5.00 8.00 3.30 2.15 3.00 8.00 0.65 1.17 0.00 1.79 0.00 8.00 3.30 2.15
440-AH 36.00 39.50 42.00 42.00 42.00 40.85 1.75 2.50 6.00 0.04 40.81 40.78 1.40 36.00 42.00 40.85 1.75
441-AH 0.00 4.25 7.00 7.00 7.00 5.52 2.49 2.75 7.00 0.45 3.02 0.00 2.09 1.00 7.00 5.73 2.27
442-AH 2.00 4.25 5.00 5.00 5.00 4.56 0.85 0.75 3.00 0.19 4.45 4.32 0.66 4.00 5.00 4.87 0.34
443-AH 3.00 8.00 10.00 10.00 10.00 8.70 2.22 2.00 7.00 0.25 8.30 7.69 1.73 5.00 10.00 9.16 1.55
444-AH 11.00 15.00 16.00 17.00 17.00 15.74 1.56 2.00 6.00 0.10 15.66 15.56 1.18 13.00 17.00 15.92 1.26
445-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00
446-AH 4.00 8.00 12.00 16.00 19.00 11.89 4.71 8.00 15.00 0.40 10.72 9.36 3.85 4.00 19.00 11.89 4.71
447-AH 9.00 10.00 10.00 10.00 10.00 9.93 0.27 0.00 1.00 0.03 9.92 9.92 0.14 10.00 10.00 10.00 0.00
448-AH 1.00 9.00 9.00 9.00 10.00 8.37 2.06 0.00 9.00 0.25 7.86 6.55 1.42 9.00 9.00 9.00 0.00
449-AH 4.00 6.00 9.00 10.00 10.00 8.11 2.29 4.00 6.00 0.28 7.73 7.30 2.02 4.00 10.00 8.11 2.29
450-AH 9.00 20.00 23.00 24.00 24.00 21.11 4.27 4.00 15.00 0.20 20.51 19.64 2.97 18.00 24.00 22.46 1.77
56
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0821 0.2111 0.2789 0.3426 0.4793 0.2728 0.1121 0.1315 0.3972 0.4108 0.2455 0.2129 0.0871 0.0821 0.4793 0.2728 0.1121
402-AH 0.0250 0.2727 0.3282 0.3957 0.6089 0.3305 0.1281 0.1230 0.5839 0.3878 0.2949 0.2166 0.0956 0.1794 0.5511 0.3315 0.1033
403-AH 0.0002 0.0078 0.0233 0.0636 0.4598 0.0712 0.1262 0.0558 0.4596 1.7720 0.0219 0.0039 0.0806 0.0002 0.1103 0.0288 0.0302
404-AH 0.1039 0.3620 0.5052 0.5859 0.6344 0.4511 0.1673 0.2239 0.5305 0.3709 0.4038 0.3330 0.1383 0.1039 0.6344 0.4511 0.1673
405-AH 0.0030 0.5178 0.6175 0.6711 0.8480 0.5815 0.1794 0.1532 0.8449 0.3084 0.4800 0.0720 0.1238 0.4207 0.8480 0.6203 0.1137
406-AH 0.0086 0.0575 0.1747 0.2084 0.3516 0.1546 0.0976 0.1509 0.3429 0.6316 0.1069 0.0534 0.0801 0.0086 0.3516 0.1546 0.0976
407-AH 0.0006 0.0311 0.2513 0.6420 1.0000 0.3612 0.3513 0.6110 0.9994 0.9727 0.1032 0.0066 0.3205 0.0006 1.0000 0.3612 0.3513
408-AH 0.4948 0.6916 0.7666 0.8333 0.8996 0.7458 0.1142 0.1417 0.4048 0.1532 0.7365 0.7262 0.0905 0.4948 0.8996 0.7458 0.1142
409-AH 0.0047 0.0344 0.0505 0.0929 0.3202 0.0813 0.0780 0.0585 0.3155 0.9591 0.0553 0.0347 0.0553 0.0047 0.1693 0.0634 0.0453
410-AH 0.2268 0.5812 0.7409 0.8193 0.9281 0.6770 0.2059 0.2381 0.7013 0.3041 0.6334 0.5719 0.1600 0.2268 0.9281 0.6770 0.2059
411-AH 0.0000 0.0026 0.0063 0.0106 0.5179 0.0268 0.0985 0.0080 0.5179 3.6747 0.0043 0.0001 0.0373 0.0000 0.0156 0.0058 0.0043
412-AH 0.0097 0.0315 0.0635 0.1454 0.3588 0.0959 0.0843 0.1139 0.3490 0.8788 0.0628 0.0384 0.0676 0.0097 0.2121 0.0858 0.0673
413-AH 0.0093 0.0819 0.1548 0.2854 0.5667 0.1871 0.1610 0.2035 0.5574 0.8602 0.1136 0.0522 0.1260 0.0093 0.5667 0.1871 0.1610
414-AH 0.0041 0.1361 0.2686 0.4544 0.7908 0.3127 0.2184 0.3183 0.7867 0.6983 0.1979 0.0517 0.1822 0.0041 0.7908 0.3127 0.2184
415-AH 0.0316 0.1614 0.3012 0.3742 0.4020 0.2616 0.1177 0.2128 0.3704 0.4501 0.2215 0.1592 0.1034 0.0316 0.4020 0.2616 0.1177
416-AH 0.0814 0.2256 0.2398 0.3087 0.3926 0.2569 0.0683 0.0831 0.3111 0.2661 0.2466 0.2332 0.0516 0.1485 0.3926 0.2636 0.0598
417-AH 0.0509 0.2524 0.3657 0.4874 0.6498 0.3608 0.1732 0.2350 0.5989 0.4801 0.2992 0.2110 0.1398 0.0509 0.6498 0.3608 0.1732
418-AH 0.0403 0.3710 0.5911 0.7333 0.9160 0.5547 0.2228 0.3623 0.8757 0.4018 0.4825 0.3400 0.1777 0.0403 0.9160 0.5547 0.2228
419-AH 0.0235 0.1509 0.1810 0.2668 0.4971 0.2115 0.1155 0.1158 0.4736 0.5462 0.1747 0.1225 0.0894 0.0235 0.4333 0.1907 0.0913
420-AH 0.0067 0.1880 0.2728 0.2971 0.4254 0.2350 0.1125 0.1091 0.4188 0.4788 0.1676 0.0565 0.0836 0.0328 0.4254 0.2633 0.0824
421-AH 0.0097 0.1954 0.5358 0.6559 0.8190 0.4589 0.2637 0.4605 0.8094 0.5746 0.3229 0.1258 0.2307 0.0097 0.8190 0.4589 0.2637
422-AH 0.0032 0.0189 0.0362 0.0549 0.2075 0.0434 0.0416 0.0360 0.2043 0.9599 0.0284 0.0159 0.0271 0.0032 0.0917 0.0371 0.0262
423-AH 0.1065 0.5457 0.6538 0.7099 0.7854 0.5698 0.2026 0.1642 0.6788 0.3555 0.5137 0.4299 0.1577 0.3791 0.7854 0.6559 0.0913
424-AH 0.0035 0.0417 0.0921 0.1558 0.3649 0.1161 0.0935 0.1141 0.3613 0.8055 0.0689 0.0228 0.0753 0.0035 0.2718 0.1065 0.0807
425-AH 0.0039 0.0704 0.1904 0.2540 0.3756 0.1696 0.1209 0.1836 0.3717 0.7128 0.1019 0.0316 0.1037 0.0039 0.3756 0.1696 0.1209
426-AH 0.0000 0.0549 0.1035 0.1284 0.2117 0.0982 0.0565 0.0735 0.2117 0.5752 0.0602 0.0003 0.0448 0.0000 0.2117 0.0982 0.0565
427-AH 0.1023 0.1591 0.1936 0.2239 0.3502 0.1959 0.0582 0.0648 0.2480 0.2971 0.1878 0.1797 0.0445 0.1023 0.2913 0.1900 0.0503
428-AH 0.0033 0.0118 0.0224 0.0328 0.1009 0.0298 0.0266 0.0210 0.0975 0.8926 0.0213 0.0152 0.0197 0.0033 0.0528 0.0203 0.0125
429-AH 0.0061 0.1203 0.1595 0.2405 0.5730 0.1873 0.1338 0.1202 0.5668 0.7146 0.1256 0.0509 0.0967 0.0061 0.3852 0.1610 0.0972
430-AH 0.0000 0.0004 0.0020 0.0095 0.4096 0.0233 0.0786 0.0091 0.4096 3.3823 0.0015 0.0001 0.0336 0.0000 0.0214 0.0035 0.0053
431-AH 0.0002 0.0312 0.1875 0.6782 0.8221 0.3359 0.3181 0.6470 0.8219 0.9468 0.1176 0.0044 0.2917 0.0002 0.8221 0.3359 0.3181
432-AH 0.0106 0.0953 0.4207 0.5445 0.8239 0.3705 0.2452 0.4492 0.8133 0.6618 0.2194 0.0740 0.2033 0.0106 0.8239 0.3705 0.2452
433-AH 0.0045 0.1306 0.3715 0.6659 0.8495 0.3974 0.2760 0.5353 0.8451 0.6945 0.2695 0.0795 0.2287 0.0045 0.8495 0.3974 0.2760
434-AH 0.0491 0.4285 0.7908 0.9536 1.0000 0.6784 0.3200 0.5251 0.9509 0.4717 0.5348 0.3147 0.2571 0.0491 1.0000 0.6784 0.3200
435-AH 0.0065 0.0520 0.0835 0.1257 0.2839 0.0962 0.0680 0.0737 0.2775 0.7061 0.0715 0.0433 0.0508 0.0065 0.1810 0.0827 0.0488
436-AH 0.0000 0.0004 0.0142 0.0504 0.1853 0.0349 0.0503 0.0499 0.1853 1.4440 0.0037 0.0001 0.0370 0.0000 0.0926 0.0233 0.0292
437-AH 0.2236 0.6163 0.8345 0.8953 0.9464 0.7226 0.2311 0.2790 0.7228 0.3199 0.6718 0.6028 0.1890 0.2236 0.9464 0.7226 0.2311
438-AH 0.0646 0.1294 0.1612 0.2180 0.2560 0.1692 0.0599 0.0887 0.1915 0.3541 0.1573 0.1441 0.0503 0.0646 0.2560 0.1692 0.0599
439-AH 0.0000 0.0005 0.0016 0.0044 0.1122 0.0087 0.0227 0.0039 0.1122 2.6195 0.0014 0.0001 0.0117 0.0000 0.0051 0.0015 0.0015
440-AH 0.0538 0.2186 0.4159 0.6353 0.9124 0.4173 0.2580 0.4166 0.8586 0.6182 0.3188 0.2098 0.2092 0.0538 0.9124 0.4173 0.2580
441-AH 0.0000 0.0099 0.2068 0.4422 1.0000 0.3250 0.3495 0.4323 1.0000 1.0757 0.0520 0.0002 0.2868 0.0000 1.0000 0.3250 0.3495
442-AH 0.0167 0.1758 0.3318 0.5190 0.8509 0.3455 0.2258 0.3433 0.8342 0.6535 0.2449 0.1158 0.1766 0.0167 0.8509 0.3455 0.2258
443-AH 0.0025 0.0340 0.0564 0.1169 0.3143 0.0917 0.0949 0.0829 0.3117 1.0349 0.0486 0.0168 0.0746 0.0025 0.2207 0.0656 0.0613
444-AH 0.0117 0.1672 0.2206 0.2870 0.3758 0.2138 0.0953 0.1198 0.3641 0.4457 0.1767 0.1076 0.0733 0.0117 0.3758 0.2138 0.0953
445-AH 0.4875 0.7326 0.9111 0.9667 1.0000 0.8282 0.1878 0.2341 0.5125 0.2268 0.8038 0.7757 0.1567 0.4875 1.0000 0.8282 0.1878
446-AH 0.0012 0.0095 0.0419 0.0629 0.2434 0.0457 0.0485 0.0534 0.2422 1.0616 0.0243 0.0081 0.0308 0.0012 0.0926 0.0381 0.0286
447-AH 0.2280 0.4477 0.4958 0.5977 0.7056 0.5146 0.1178 0.1500 0.4776 0.2289 0.4987 0.4785 0.0921 0.2280 0.7056 0.5146 0.1178
448-AH 0.0002 0.2071 0.2877 0.4341 0.5090 0.2832 0.1651 0.2271 0.5088 0.5828 0.1684 0.0053 0.1379 0.0002 0.5090 0.2832 0.1651
449-AH 0.0050 0.0233 0.0728 0.2756 0.4452 0.1414 0.1374 0.2523 0.4402 0.9718 0.0670 0.0253 0.1227 0.0050 0.4452 0.1414 0.1374
450-AH 0.0551 0.0822 0.1241 0.2595 0.5991 0.1796 0.1318 0.1774 0.5440 0.7337 0.1430 0.1166 0.1010 0.0551 0.3926 0.1634 0.1036
57
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0909 0.2045 0.2727 0.3636 0.5455 0.2896 0.1210 0.1591 0.4545 0.4179 0.2621 0.2305 0.0898 0.0909 0.5455 0.2896 0.1210
402-AH 0.0500 0.2813 0.3750 0.4000 0.5750 0.3481 0.1139 0.1187 0.5250 0.3272 0.3219 0.2739 0.0835 0.1750 0.5750 0.3596 0.0990
403-AH 0.0000 0.0000 0.0000 0.1500 0.4000 0.0741 0.1375 0.1500 0.4000 1.8568 0.0001 0.0000 0.1097 0.0000 0.2000 0.0333 0.0761
404-AH 0.0227 0.4148 0.5227 0.5682 0.6136 0.4588 0.1543 0.1534 0.5909 0.3363 0.4036 0.2531 0.1179 0.2500 0.6136 0.5019 0.0943
405-AH 0.0000 0.4286 0.4286 0.5714 0.7143 0.4762 0.1373 0.1429 0.7143 0.2882 0.3251 0.0003 0.0988 0.2857 0.7143 0.4945 0.1009
406-AH 0.0000 0.0769 0.1538 0.3077 0.4615 0.1852 0.1354 0.2308 0.4615 0.7310 0.0234 0.0000 0.1123 0.0000 0.4615 0.1852 0.1354
407-AH 0.0000 0.0000 0.2857 0.6786 1.0000 0.3492 0.3439 0.6786 1.0000 0.9848 0.0088 0.0000 0.3139 0.0000 1.0000 0.3492 0.3439
408-AH 0.5625 0.6875 0.7500 0.7969 0.8125 0.7083 0.0917 0.1094 0.2500 0.1295 0.7023 0.6959 0.0756 0.5625 0.8125 0.7083 0.0917
409-AH 0.0000 0.0000 0.0000 0.1667 0.3333 0.0679 0.0954 0.1667 0.3333 1.4050 0.0004 0.0000 0.0855 0.0000 0.3333 0.0679 0.0954
410-AH 0.2500 0.5625 0.6875 0.6875 0.8750 0.6204 0.1559 0.1250 0.6250 0.2514 0.5968 0.5669 0.1212 0.5000 0.8750 0.6615 0.1073
411-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0185 0.0962 0.0000 0.5000 5.1962 0.0000 0.0000 0.0357 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0417 0.1250 0.1667 0.3333 0.1204 0.0875 0.1250 0.3333 0.7269 0.0398 0.0001 0.0696 0.0000 0.3333 0.1204 0.0875
413-AH 0.0000 0.0000 0.0000 0.3750 0.5000 0.1296 0.2233 0.3750 0.5000 1.7225 0.0002 0.0000 0.1920 0.0000 0.5000 0.1296 0.2233
414-AH 0.0000 0.1875 0.3333 0.4792 0.7500 0.3179 0.2042 0.2917 0.7500 0.6423 0.0986 0.0001 0.1580 0.0000 0.7500 0.3179 0.2042
415-AH 0.0638 0.2394 0.3830 0.4255 0.4468 0.3278 0.1179 0.1862 0.3830 0.3597 0.2962 0.2463 0.1000 0.0638 0.4468 0.3278 0.1179
416-AH 0.0000 0.1111 0.1111 0.3333 0.5556 0.1975 0.1283 0.2222 0.5556 0.6495 0.0894 0.0001 0.1061 0.0000 0.5556 0.1975 0.1283
417-AH 0.0500 0.2750 0.4250 0.4500 0.6250 0.3694 0.1420 0.1750 0.5750 0.3843 0.3308 0.2690 0.1154 0.0500 0.6250 0.3694 0.1420
418-AH 0.0000 0.3750 0.5000 0.6250 0.7500 0.4861 0.1845 0.2500 0.7500 0.3796 0.3144 0.0003 0.1471 0.0000 0.7500 0.4861 0.1845
419-AH 0.0000 0.0000 0.3333 0.3333 0.3333 0.1728 0.1697 0.3333 0.3333 0.9820 0.0022 0.0000 0.1664 0.0000 0.3333 0.1728 0.1697
420-AH 0.0000 0.2727 0.3636 0.4318 0.5455 0.3199 0.1457 0.1591 0.5455 0.4554 0.1076 0.0001 0.1090 0.0909 0.5455 0.3598 0.0947
421-AH 0.0000 0.2857 0.5714 0.7143 0.7143 0.4550 0.2444 0.4286 0.7143 0.5370 0.1411 0.0001 0.2054 0.0000 0.7143 0.4550 0.2444
422-AH 0.0000 0.0312 0.0312 0.1250 0.2812 0.0764 0.0662 0.0938 0.2812 0.8666 0.0435 0.0003 0.0522 0.0000 0.2188 0.0685 0.0530
423-AH 0.1667 0.5000 0.5000 0.5000 0.6667 0.4630 0.1334 0.0000 0.5000 0.2882 0.4368 0.4000 0.0947 0.5000 0.5000 0.5000 0.0000
424-AH 0.0000 0.0000 0.0000 0.2500 0.2500 0.1019 0.1252 0.2500 0.2500 1.2290 0.0006 0.0000 0.1207 0.0000 0.2500 0.1019 0.1252
425-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1852 0.1262 0.2000 0.4000 0.6815 0.0325 0.0001 0.1064 0.0000 0.4000 0.1852 0.1262
426-AH 0.0000 0.0909 0.1364 0.1818 0.3636 0.1431 0.0898 0.0909 0.3636 0.6273 0.0660 0.0001 0.0691 0.0000 0.2727 0.1346 0.0798
427-AH 0.1250 0.1250 0.1250 0.1250 0.2500 0.1528 0.0530 0.0000 0.1250 0.3466 0.1458 0.1406 0.0432 0.1250 0.1250 0.1250 0.0000
428-AH 0.0000 0.0000 0.0000 0.0000 0.1667 0.0247 0.0603 0.0000 0.1667 2.4436 0.0000 0.0000 0.0421 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.1689 0.2432 0.3243 0.5676 0.2432 0.1313 0.1554 0.5676 0.5400 0.1500 0.0003 0.0961 0.0000 0.4865 0.2308 0.1165
430-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0093 0.0481 0.0000 0.2500 5.1962 0.0000 0.0000 0.0178 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0568 0.1818 0.5795 0.7727 0.3215 0.2730 0.5227 0.7727 0.8490 0.1425 0.0003 0.2526 0.0000 0.7727 0.3215 0.2730
432-AH 0.0000 0.0357 0.2857 0.4286 0.7143 0.3016 0.2288 0.3929 0.7143 0.7585 0.0242 0.0000 0.1964 0.0000 0.7143 0.3016 0.2288
433-AH 0.0000 0.2632 0.3684 0.6711 0.7895 0.4016 0.2332 0.4079 0.7895 0.5807 0.2423 0.0003 0.1928 0.0000 0.7895 0.4016 0.2332
434-AH 0.0769 0.5000 0.7692 0.9038 1.0000 0.6610 0.2701 0.4038 0.9231 0.4086 0.5642 0.3985 0.2127 0.0769 1.0000 0.6610 0.2701
435-AH 0.0500 0.1000 0.1500 0.2000 0.3000 0.1407 0.0708 0.1000 0.2500 0.5028 0.1223 0.1038 0.0554 0.0500 0.3000 0.1407 0.0708
436-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0278 0.0611 0.0000 0.2500 2.2014 0.0001 0.0000 0.0432 0.0000 0.0000 0.0000 0.0000
437-AH 0.3750 0.5000 0.7500 0.8750 0.8750 0.6759 0.1742 0.3750 0.5000 0.2578 0.6519 0.6258 0.1509 0.3750 0.8750 0.6759 0.1742
438-AH 0.1000 0.1333 0.2000 0.2583 0.3667 0.2012 0.0748 0.1250 0.2667 0.3718 0.1871 0.1729 0.0630 0.1000 0.3667 0.2012 0.0748
439-AH 0.0000 0.0000 0.0000 0.0000 0.1818 0.0168 0.0439 0.0000 0.1818 2.6100 0.0000 0.0000 0.0287 0.0000 0.0000 0.0000 0.0000
440-AH 0.0238 0.2738 0.4524 0.6548 0.8095 0.4347 0.2430 0.3810 0.7857 0.5590 0.3152 0.1417 0.2035 0.0238 0.8095 0.4347 0.2430
441-AH 0.0000 0.0000 0.2857 0.5357 1.0000 0.3228 0.3209 0.5357 1.0000 0.9942 0.0085 0.0000 0.2661 0.0000 1.0000 0.3228 0.3209
442-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3778 0.2100 0.4000 0.8000 0.5559 0.1204 0.0001 0.1630 0.0000 0.8000 0.3778 0.2100
443-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0778 0.0892 0.1000 0.3000 1.1463 0.0019 0.0000 0.0691 0.0000 0.2000 0.0600 0.0645
444-AH 0.0000 0.1765 0.2353 0.2941 0.3529 0.2222 0.0805 0.1176 0.3529 0.3622 0.1518 0.0003 0.0610 0.0000 0.3529 0.2222 0.0805
445-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7481 0.1968 0.2000 0.6000 0.2631 0.7193 0.6864 0.1580 0.4000 1.0000 0.7481 0.1968
446-AH 0.0000 0.0119 0.0476 0.1310 0.3333 0.0794 0.0803 0.1190 0.3333 1.0122 0.0083 0.0000 0.0623 0.0000 0.1905 0.0696 0.0635
447-AH 0.3000 0.5000 0.5000 0.5750 0.7000 0.4963 0.0980 0.0750 0.4000 0.1974 0.4859 0.4743 0.0650 0.4000 0.6000 0.5130 0.0626
448-AH 0.0000 0.3000 0.3000 0.4000 0.6000 0.2963 0.1743 0.1000 0.6000 0.5882 0.0498 0.0001 0.1243 0.3000 0.5000 0.3650 0.0813
449-AH 0.0000 0.0000 0.2000 0.2750 0.5000 0.1556 0.1450 0.2750 0.5000 0.9322 0.0055 0.0000 0.1235 0.0000 0.5000 0.1556 0.1450
450-AH 0.0417 0.0833 0.1667 0.2917 0.6250 0.1898 0.1379 0.2083 0.5833 0.7263 0.1473 0.1135 0.1094 0.0417 0.3750 0.1731 0.1091
58
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0579 0.1736 0.2562 0.2789 0.4628 0.2381 0.1099 0.1054 0.4050 0.4613 0.2072 0.1698 0.0837 0.0579 0.3967 0.2208 0.0941
402-AH 0.1562 0.2617 0.3200 0.3467 0.5587 0.3186 0.1028 0.0850 0.4025 0.3226 0.3026 0.2864 0.0736 0.1562 0.4263 0.2926 0.0740
403-AH 0.0000 0.0000 0.0000 0.0600 0.4000 0.0504 0.1118 0.0600 0.4000 2.2200 0.0001 0.0000 0.0746 0.0000 0.0800 0.0133 0.0305
404-AH 0.0026 0.3501 0.4938 0.5528 0.5909 0.4232 0.1700 0.2027 0.5883 0.4018 0.3274 0.0574 0.1334 0.0702 0.5909 0.4394 0.1507
405-AH 0.0000 0.4694 0.5306 0.5714 0.7959 0.5087 0.1572 0.1020 0.7959 0.3089 0.3429 0.0003 0.1019 0.3469 0.6735 0.5200 0.0780
406-AH 0.0000 0.0518 0.1420 0.2027 0.3432 0.1341 0.1001 0.1509 0.3432 0.7465 0.0236 0.0001 0.0827 0.0000 0.3432 0.1341 0.1001
407-AH 0.0000 0.0000 0.1429 0.6327 1.0000 0.3394 0.3539 0.6327 1.0000 1.0429 0.0082 0.0000 0.3227 0.0000 1.0000 0.3394 0.3539
408-AH 0.5156 0.6670 0.7500 0.8115 0.8789 0.7302 0.1080 0.1445 0.3633 0.1479 0.7217 0.7123 0.0840 0.5156 0.8789 0.7302 0.1080
409-AH 0.0000 0.0000 0.0000 0.1042 0.1944 0.0422 0.0646 0.1042 0.1944 1.5322 0.0003 0.0000 0.0553 0.0000 0.1944 0.0422 0.0646
410-AH 0.2305 0.5391 0.6836 0.7598 0.9219 0.6377 0.1910 0.2207 0.6914 0.2995 0.6014 0.5539 0.1515 0.2305 0.9219 0.6377 0.1910
411-AH 0.0000 0.0000 0.0000 0.0000 0.5000 0.0185 0.0962 0.0000 0.5000 5.1962 0.0000 0.0000 0.0357 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0352 0.0521 0.1120 0.3090 0.0846 0.0737 0.0768 0.3090 0.8711 0.0342 0.0001 0.0573 0.0000 0.1910 0.0759 0.0596
413-AH 0.0000 0.0000 0.0000 0.1875 0.5000 0.0926 0.1719 0.1875 0.5000 1.8568 0.0001 0.0000 0.1372 0.0000 0.2500 0.0417 0.0952
414-AH 0.0000 0.1493 0.2500 0.3958 0.7361 0.2767 0.1958 0.2465 0.7361 0.7075 0.0832 0.0001 0.1553 0.0000 0.7361 0.2767 0.1958
415-AH 0.0453 0.1665 0.2929 0.3510 0.3988 0.2623 0.1056 0.1845 0.3536 0.4026 0.2309 0.1837 0.0892 0.0453 0.3988 0.2623 0.1056
416-AH 0.0000 0.0494 0.1111 0.2531 0.3580 0.1321 0.1052 0.2037 0.3580 0.7965 0.0527 0.0001 0.0887 0.0000 0.3580 0.1321 0.1052
417-AH 0.0306 0.2298 0.3331 0.4416 0.6237 0.3344 0.1501 0.2117 0.5931 0.4489 0.2847 0.2042 0.1185 0.0306 0.6237 0.3344 0.1501
418-AH 0.0000 0.3711 0.5938 0.6719 0.9062 0.5266 0.2158 0.3008 0.9062 0.4099 0.3348 0.0003 0.1745 0.0000 0.9062 0.5266 0.2158
419-AH 0.0000 0.0000 0.1111 0.2222 0.3333 0.1193 0.1268 0.2222 0.3333 1.0624 0.0018 0.0000 0.1161 0.0000 0.3333 0.1193 0.1268
420-AH 0.0000 0.1921 0.2645 0.2975 0.4463 0.2314 0.1152 0.1054 0.4463 0.4976 0.0774 0.0001 0.0888 0.1240 0.4463 0.2706 0.0695
421-AH 0.0000 0.2245 0.5102 0.6531 0.7755 0.4293 0.2566 0.4286 0.7755 0.5977 0.1258 0.0001 0.2184 0.0000 0.7755 0.4293 0.2566
422-AH 0.0000 0.0303 0.0322 0.0652 0.2295 0.0558 0.0498 0.0349 0.2295 0.8924 0.0323 0.0003 0.0360 0.0000 0.1123 0.0423 0.0285
423-AH 0.0556 0.4236 0.5278 0.5833 0.6667 0.4609 0.1723 0.1597 0.6111 0.3739 0.4006 0.2883 0.1303 0.2500 0.6667 0.5081 0.1116
424-AH 0.0000 0.0000 0.0000 0.1094 0.2500 0.0625 0.0917 0.1094 0.2500 1.4676 0.0005 0.0000 0.0741 0.0000 0.2500 0.0625 0.0917
425-AH 0.0000 0.0425 0.1600 0.2375 0.3400 0.1456 0.1079 0.1950 0.3400 0.7413 0.0250 0.0001 0.0920 0.0000 0.3400 0.1456 0.1079
426-AH 0.0000 0.0542 0.0847 0.1121 0.2025 0.0865 0.0563 0.0579 0.2025 0.6505 0.0347 0.0001 0.0443 0.0000 0.1798 0.0821 0.0523
427-AH 0.0625 0.0938 0.1094 0.1367 0.1719 0.1163 0.0261 0.0430 0.1094 0.2246 0.1134 0.1103 0.0211 0.0625 0.1719 0.1163 0.0261
428-AH 0.0000 0.0000 0.0000 0.0000 0.1389 0.0134 0.0380 0.0000 0.1389 2.8437 0.0000 0.0000 0.0228 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.1370 0.1994 0.2438 0.5793 0.1994 0.1295 0.1068 0.5793 0.6495 0.1134 0.0003 0.0907 0.0000 0.3820 0.1751 0.0968
430-AH 0.0000 0.0000 0.0000 0.0000 0.2500 0.0093 0.0481 0.0000 0.2500 5.1962 0.0000 0.0000 0.0178 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0201 0.1612 0.6441 0.7913 0.3107 0.3051 0.6240 0.7913 0.9820 0.0886 0.0003 0.2778 0.0000 0.7913 0.3107 0.3051
432-AH 0.0000 0.0255 0.2449 0.5255 0.7959 0.3076 0.2533 0.5000 0.7959 0.8234 0.0236 0.0000 0.2268 0.0000 0.7959 0.3076 0.2533
433-AH 0.0000 0.1711 0.3130 0.6143 0.8144 0.3798 0.2505 0.4432 0.8144 0.6597 0.2185 0.0003 0.2068 0.0000 0.8144 0.3798 0.2505
434-AH 0.0178 0.4364 0.7574 0.9571 1.0000 0.6616 0.3235 0.5207 0.9822 0.4890 0.4824 0.1771 0.2570 0.0178 1.0000 0.6616 0.3235
435-AH 0.0200 0.0469 0.0900 0.1300 0.2600 0.0977 0.0570 0.0831 0.2400 0.5839 0.0829 0.0691 0.0433 0.0200 0.2325 0.0914 0.0478
436-AH 0.0000 0.0000 0.0000 0.0000 0.1597 0.0165 0.0385 0.0000 0.1597 2.3376 0.0001 0.0000 0.0258 0.0000 0.0000 0.0000 0.0000
437-AH 0.2500 0.5391 0.7969 0.8711 0.9062 0.6881 0.2211 0.3320 0.6562 0.3214 0.6422 0.5844 0.1856 0.2500 0.9062 0.6881 0.2211
438-AH 0.0200 0.0756 0.1322 0.1933 0.2944 0.1376 0.0653 0.1178 0.2744 0.4746 0.1202 0.0985 0.0544 0.0200 0.2944 0.1376 0.0653
439-AH 0.0000 0.0000 0.0000 0.0000 0.1322 0.0086 0.0281 0.0000 0.1322 3.2808 0.0000 0.0000 0.0146 0.0000 0.0000 0.0000 0.0000
440-AH 0.0210 0.1927 0.3963 0.6410 0.8929 0.4022 0.2683 0.4483 0.8719 0.6672 0.2723 0.1211 0.2246 0.0210 0.8929 0.4022 0.2683
441-AH 0.0000 0.0000 0.1837 0.4235 1.0000 0.2978 0.3402 0.4235 1.0000 1.1423 0.0075 0.0000 0.2783 0.0000 1.0000 0.2978 0.3402
442-AH 0.0000 0.1700 0.3200 0.4700 0.7600 0.3244 0.1982 0.3000 0.7600 0.6110 0.1022 0.0001 0.1616 0.0000 0.7600 0.3244 0.1982
443-AH 0.0000 0.0000 0.0100 0.0875 0.2600 0.0552 0.0789 0.0875 0.2600 1.4298 0.0013 0.0000 0.0602 0.0000 0.2000 0.0388 0.0545
444-AH 0.0000 0.1306 0.1730 0.1972 0.2803 0.1637 0.0664 0.0666 0.2803 0.4055 0.1107 0.0003 0.0480 0.0588 0.2803 0.1699 0.0589
445-AH 0.4000 0.6600 0.8800 0.9600 1.0000 0.7911 0.2186 0.3000 0.6000 0.2763 0.7551 0.7124 0.1807 0.4000 1.0000 0.7911 0.2186
446-AH 0.0000 0.0017 0.0272 0.0663 0.2200 0.0434 0.0508 0.0646 0.2200 1.1711 0.0047 0.0000 0.0375 0.0000 0.1134 0.0366 0.0373
447-AH 0.2500 0.4100 0.4800 0.5575 0.6200 0.4696 0.1061 0.1475 0.3700 0.2259 0.4568 0.4425 0.0834 0.2500 0.6200 0.4696 0.1061
448-AH 0.0000 0.2450 0.2700 0.3875 0.4800 0.2626 0.1565 0.1425 0.4800 0.5958 0.0441 0.0001 0.1162 0.0400 0.4800 0.3223 0.1008
449-AH 0.0000 0.0000 0.0900 0.2100 0.4000 0.1244 0.1247 0.2100 0.4000 1.0020 0.0045 0.0000 0.1101 0.0000 0.4000 0.1244 0.1247
450-AH 0.0417 0.0699 0.1007 0.2426 0.5833 0.1534 0.1280 0.1727 0.5417 0.8348 0.1159 0.0921 0.1015 0.0417 0.3490 0.1368 0.0968
59
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.2000 0.6667 1.0000 1.0000 1.0000 0.7871 0.2933 0.3333 0.8000 0.3727 0.7046 0.5870 0.2523 0.2000 1.0000 0.7871 0.2933
402-AH 0.0781 1.0000 1.0000 1.0000 1.0000 0.9659 0.1774 0.0000 0.9219 0.1837 0.9099 0.6959 0.0658 1.0000 1.0000 1.0000 0.0000
403-AH 0.0010 0.0200 0.0588 0.2232 1.0000 0.1860 0.3046 0.2033 0.9990 1.6374 0.0586 0.0140 0.1998 0.0010 0.2500 0.0843 0.0874
404-AH 0.1437 0.7273 1.0000 1.0000 1.0000 0.8235 0.2932 0.2727 0.8563 0.3561 0.7311 0.5768 0.2360 0.4444 1.0000 0.9062 0.1814
405-AH 0.0056 1.0000 1.0000 1.0000 1.0000 0.9107 0.2243 0.0000 0.9944 0.2463 0.7721 0.1296 0.1455 1.0000 1.0000 1.0000 0.0000
406-AH 0.0303 0.1705 0.4000 0.9167 1.0000 0.4752 0.3622 0.7462 0.9697 0.7622 0.2996 0.1434 0.3029 0.0303 1.0000 0.4752 0.3622
407-AH 0.0021 0.0563 0.5714 1.0000 1.0000 0.5240 0.4353 0.9437 0.9979 0.8307 0.1875 0.0198 0.4012 0.0021 1.0000 0.5240 0.4353
408-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9926 0.0267 0.0000 0.1000 0.0269 0.9922 0.9918 0.0137 1.0000 1.0000 1.0000 0.0000
409-AH 0.0097 0.0714 0.1111 0.3125 1.0000 0.2123 0.2166 0.2411 0.9903 1.0199 0.1382 0.0824 0.1578 0.0097 0.5000 0.1820 0.1517
410-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9907 0.0481 0.0000 0.2500 0.0486 0.9894 0.9878 0.0178 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0029 0.0085 0.0138 1.0000 0.0473 0.1907 0.0110 1.0000 4.0350 0.0058 0.0001 0.0706 0.0000 0.0238 0.0083 0.0068
412-AH 0.0274 0.1456 0.2667 1.0000 1.0000 0.5038 0.4174 0.8544 0.9726 0.8284 0.2978 0.1502 0.3858 0.0274 1.0000 0.5038 0.4174
413-AH 0.0161 0.1146 0.2500 0.4583 1.0000 0.3130 0.2919 0.3438 0.9839 0.9325 0.1890 0.0931 0.2156 0.0161 0.5000 0.2271 0.1645
414-AH 0.0183 0.5000 1.0000 1.0000 1.0000 0.7017 0.3556 0.5000 0.9817 0.5068 0.5110 0.1947 0.3094 0.0183 1.0000 0.7017 0.3556
415-AH 0.3333 0.5429 1.0000 1.0000 1.0000 0.7821 0.2525 0.4571 0.6667 0.3228 0.7354 0.6831 0.2297 0.3333 1.0000 0.7821 0.2525
416-AH 0.2000 0.3186 0.3500 0.5000 1.0000 0.4600 0.2447 0.1814 0.8000 0.5320 0.4142 0.3820 0.1776 0.2000 0.5714 0.3661 0.0924
417-AH 0.1053 1.0000 1.0000 1.0000 1.0000 0.8774 0.2786 0.0000 0.8947 0.3175 0.7851 0.6010 0.1998 1.0000 1.0000 1.0000 0.0000
418-AH 0.1333 1.0000 1.0000 1.0000 1.0000 0.9093 0.1996 0.0000 0.8667 0.2195 0.8647 0.7535 0.1412 1.0000 1.0000 1.0000 0.0000
419-AH 0.0556 0.2000 0.3333 0.5000 1.0000 0.3884 0.2677 0.3000 0.9444 0.6892 0.3052 0.2259 0.2103 0.0556 0.5000 0.3119 0.1615
420-AH 0.0153 0.4286 0.5000 0.6500 1.0000 0.4864 0.2232 0.2214 0.9847 0.4589 0.3779 0.1689 0.1543 0.1429 0.7500 0.5229 0.1331
421-AH 0.0385 0.5000 1.0000 1.0000 1.0000 0.7860 0.3509 0.5000 0.9615 0.4465 0.6259 0.3484 0.3012 0.0385 1.0000 0.7860 0.3509
422-AH 0.0148 0.1958 0.5000 0.8750 1.0000 0.5022 0.3463 0.6792 0.9852 0.6894 0.3318 0.1431 0.2581 0.0148 1.0000 0.5022 0.3463
423-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8901 0.2409 0.0000 0.8000 0.2706 0.8375 0.7500 0.1791 1.0000 1.0000 1.0000 0.0000
424-AH 0.0058 0.0777 0.2000 0.3182 1.0000 0.2493 0.2599 0.2405 0.9942 1.0426 0.1346 0.0481 0.1789 0.0058 0.5000 0.1892 0.1499
425-AH 0.0168 0.1750 0.5000 1.0000 1.0000 0.5650 0.3900 0.8250 0.9832 0.6904 0.3348 0.1092 0.3435 0.0168 1.0000 0.5650 0.3900
426-AH 0.0000 0.1627 0.2857 0.3333 1.0000 0.3059 0.2343 0.1706 1.0000 0.7660 0.1723 0.0003 0.1456 0.0000 0.5000 0.2504 0.1270
427-AH 0.2500 0.3333 0.5000 0.8750 1.0000 0.5673 0.2741 0.5417 0.7500 0.4832 0.5107 0.4642 0.2244 0.2500 1.0000 0.5673 0.2741
428-AH 0.0095 0.0326 0.0500 0.1188 0.5000 0.0995 0.1255 0.0862 0.4905 1.2617 0.0608 0.0415 0.0801 0.0095 0.2000 0.0674 0.0512
429-AH 0.0190 0.3929 0.7143 1.0000 1.0000 0.6606 0.3450 0.6071 0.9810 0.5222 0.4982 0.2283 0.2942 0.0190 1.0000 0.6606 0.3450
430-AH 0.0000 0.0015 0.0039 0.0290 1.0000 0.0642 0.1949 0.0275 1.0000 3.0379 0.0039 0.0001 0.0929 0.0000 0.0476 0.0096 0.0138
431-AH 0.0021 0.0852 1.0000 1.0000 1.0000 0.6115 0.4373 0.9148 0.9979 0.7152 0.3239 0.0439 0.4132 0.0021 1.0000 0.6115 0.4373
432-AH 0.0294 0.1714 0.5000 0.6500 1.0000 0.4918 0.3235 0.4786 0.9706 0.6579 0.3342 0.1643 0.2533 0.0294 1.0000 0.4918 0.3235
433-AH 0.0177 0.8125 1.0000 1.0000 1.0000 0.8374 0.2983 0.1875 0.9823 0.3562 0.7078 0.2951 0.2409 0.7500 1.0000 0.9881 0.0546
434-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8451 0.3020 0.0000 0.8571 0.3574 0.7510 0.6018 0.2410 1.0000 1.0000 1.0000 0.0000
435-AH 0.0769 0.2292 0.3333 0.5000 1.0000 0.3934 0.2545 0.2708 0.9231 0.6469 0.3303 0.2779 0.1871 0.0769 0.6667 0.3176 0.1387
436-AH 0.0000 0.0030 0.0250 0.1175 0.5000 0.0851 0.1260 0.1145 0.5000 1.4812 0.0100 0.0001 0.0904 0.0000 0.2000 0.0471 0.0599
437-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.9342 0.1667 0.0000 0.5556 0.1784 0.9138 0.8852 0.1122 1.0000 1.0000 1.0000 0.0000
438-AH 0.1905 0.2917 0.5000 1.0000 1.0000 0.5689 0.3073 0.7083 0.8095 0.5402 0.4898 0.4205 0.2627 0.1905 1.0000 0.5689 0.3073
439-AH 0.0000 0.0045 0.0059 0.0179 0.5000 0.0443 0.1054 0.0134 0.5000 2.3822 0.0073 0.0001 0.0603 0.0000 0.0208 0.0073 0.0058
440-AH 0.1667 0.3720 1.0000 1.0000 1.0000 0.7318 0.3324 0.6280 0.8333 0.4543 0.6270 0.5010 0.2980 0.1667 1.0000 0.7318 0.3324
441-AH 0.0000 0.0168 0.4000 1.0000 1.0000 0.4620 0.4140 0.9832 1.0000 0.8962 0.1056 0.0003 0.3588 0.0000 1.0000 0.4620 0.4140
442-AH 0.0476 0.5000 0.6667 1.0000 1.0000 0.6702 0.3196 0.5000 0.9524 0.4768 0.5417 0.3176 0.2687 0.0476 1.0000 0.6702 0.3196
443-AH 0.0112 0.0525 0.1081 0.3333 1.0000 0.3098 0.3856 0.2808 0.9888 1.2445 0.1279 0.0494 0.3102 0.0112 0.3333 0.1126 0.0975
444-AH 0.0312 0.3333 0.6667 1.0000 1.0000 0.6536 0.3357 0.6667 0.9688 0.5135 0.5268 0.3160 0.2984 0.0312 1.0000 0.6536 0.3357
445-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9907 0.0481 0.0000 0.2500 0.0486 0.9894 0.9878 0.0178 1.0000 1.0000 1.0000 0.0000
446-AH 0.0110 0.0533 0.1429 0.2375 0.5000 0.1857 0.1664 0.1842 0.4890 0.8958 0.1102 0.0531 0.1300 0.0110 0.5000 0.1857 0.1664
447-AH 0.5000 0.5714 0.7500 1.0000 1.0000 0.7769 0.2156 0.4286 0.5000 0.2776 0.7470 0.7177 0.2025 0.5000 1.0000 0.7769 0.2156
448-AH 0.0021 0.6667 0.7500 0.7875 1.0000 0.6423 0.3244 0.1208 0.9979 0.5050 0.4275 0.0471 0.2453 0.6667 0.8000 0.7200 0.0468
449-AH 0.0143 0.0704 0.2500 1.0000 1.0000 0.4733 0.4327 0.9296 0.9857 0.9143 0.2277 0.0790 0.4045 0.0143 1.0000 0.4733 0.4327
450-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9055 0.2059 0.0000 0.8000 0.2274 0.8656 0.7906 0.1471 1.0000 1.0000 1.0000 0.0000
60
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1282 0.5000 0.6667 1.0000 1.0000 0.6578 0.3028 0.5000 0.8718 0.4603 0.5628 0.4419 0.2341 0.1282 1.0000 0.6578 0.3028
402-AH 0.0781 0.8000 1.0000 1.0000 1.0000 0.8609 0.2042 0.2000 0.9219 0.2373 0.8048 0.6318 0.1464 0.5882 1.0000 0.8910 0.1339
403-AH 0.0010 0.0200 0.0588 0.2232 1.0000 0.1860 0.3046 0.2033 0.9990 1.6374 0.0586 0.0140 0.1998 0.0010 0.2500 0.0843 0.0874
404-AH 0.1437 0.6286 0.8261 0.8705 1.0000 0.7237 0.2514 0.2420 0.8563 0.3474 0.6519 0.5354 0.1896 0.4444 1.0000 0.7939 0.1584
405-AH 0.0056 1.0000 1.0000 1.0000 1.0000 0.9107 0.2243 0.0000 0.9944 0.2463 0.7721 0.1296 0.1455 1.0000 1.0000 1.0000 0.0000
406-AH 0.0129 0.1385 0.3333 0.5000 1.0000 0.3821 0.3177 0.3615 0.9871 0.8315 0.2381 0.1087 0.2492 0.0129 1.0000 0.3821 0.3177
407-AH 0.0021 0.0563 0.5714 1.0000 1.0000 0.5240 0.4353 0.9437 0.9979 0.8307 0.1875 0.0198 0.4012 0.0021 1.0000 0.5240 0.4353
408-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9754 0.0657 0.0000 0.2500 0.0673 0.9730 0.9702 0.0419 1.0000 1.0000 1.0000 0.0000
409-AH 0.0097 0.0714 0.1111 0.3125 1.0000 0.2123 0.2166 0.2411 0.9903 1.0199 0.1382 0.0824 0.1578 0.0097 0.5000 0.1820 0.1517
410-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9414 0.1495 0.0000 0.5000 0.1588 0.9259 0.9050 0.0999 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0029 0.0085 0.0138 1.0000 0.0473 0.1907 0.0110 1.0000 4.0350 0.0058 0.0001 0.0706 0.0000 0.0238 0.0083 0.0068
412-AH 0.0224 0.0681 0.1481 0.3479 1.0000 0.2436 0.2541 0.2798 0.9776 1.0428 0.1483 0.0910 0.1909 0.0224 0.7500 0.2145 0.2083
413-AH 0.0161 0.1146 0.2500 0.4583 1.0000 0.3130 0.2919 0.3438 0.9839 0.9325 0.1890 0.0931 0.2156 0.0161 0.5000 0.2271 0.1645
414-AH 0.0183 0.3143 0.6000 1.0000 1.0000 0.5982 0.3633 0.6857 0.9817 0.6073 0.4055 0.1592 0.3080 0.0183 1.0000 0.5982 0.3633
415-AH 0.0694 0.3750 0.5152 0.5840 0.8333 0.4772 0.1903 0.2090 0.7639 0.3988 0.4206 0.3248 0.1448 0.0694 0.8333 0.4772 0.1903
416-AH 0.2000 0.3186 0.3500 0.5000 1.0000 0.4600 0.2447 0.1814 0.8000 0.5320 0.4142 0.3820 0.1776 0.2000 0.5714 0.3661 0.0924
417-AH 0.0773 0.6667 1.0000 1.0000 1.0000 0.8167 0.3083 0.3333 0.9227 0.3775 0.7014 0.4895 0.2506 0.3333 1.0000 0.9032 0.1923
418-AH 0.1333 1.0000 1.0000 1.0000 1.0000 0.9093 0.1996 0.0000 0.8667 0.2195 0.8647 0.7535 0.1412 1.0000 1.0000 1.0000 0.0000
419-AH 0.0556 0.2000 0.3333 0.5000 1.0000 0.3884 0.2677 0.3000 0.9444 0.6892 0.3052 0.2259 0.2103 0.0556 0.5000 0.3119 0.1615
420-AH 0.0153 0.3727 0.5000 0.6000 0.7500 0.4547 0.2066 0.2273 0.7347 0.4544 0.3361 0.1218 0.1569 0.1429 0.7500 0.5093 0.1424
421-AH 0.0385 0.5000 1.0000 1.0000 1.0000 0.7860 0.3509 0.5000 0.9615 0.4465 0.6259 0.3484 0.3012 0.0385 1.0000 0.7860 0.3509
422-AH 0.0056 0.0210 0.0325 0.1476 0.8000 0.1309 0.1949 0.1266 0.7944 1.4887 0.0544 0.0282 0.1373 0.0056 0.2500 0.0586 0.0629
423-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8901 0.2409 0.0000 0.8000 0.2706 0.8375 0.7500 0.1791 1.0000 1.0000 1.0000 0.0000
424-AH 0.0058 0.0777 0.2000 0.3182 1.0000 0.2493 0.2599 0.2405 0.9942 1.0426 0.1346 0.0481 0.1789 0.0058 0.5000 0.1892 0.1499
425-AH 0.0168 0.1750 0.5000 1.0000 1.0000 0.5650 0.3900 0.8250 0.9832 0.6904 0.3348 0.1092 0.3435 0.0168 1.0000 0.5650 0.3900
426-AH 0.0000 0.0787 0.1731 0.2342 0.3846 0.1759 0.0996 0.1555 0.3846 0.5663 0.1094 0.0003 0.0813 0.0000 0.3846 0.1759 0.0996
427-AH 0.2500 0.3333 0.5000 0.8750 1.0000 0.5673 0.2741 0.5417 0.7500 0.4832 0.5107 0.4642 0.2244 0.2500 1.0000 0.5673 0.2741
428-AH 0.0095 0.0326 0.0500 0.1188 0.5000 0.0995 0.1255 0.0862 0.4905 1.2617 0.0608 0.0415 0.0801 0.0095 0.2000 0.0674 0.0512
429-AH 0.0190 0.3393 0.4667 0.6188 1.0000 0.4740 0.2592 0.2795 0.9810 0.5469 0.3471 0.1596 0.1988 0.0190 1.0000 0.4740 0.2592
430-AH 0.0000 0.0015 0.0039 0.0290 1.0000 0.0642 0.1949 0.0275 1.0000 3.0379 0.0039 0.0001 0.0929 0.0000 0.0476 0.0096 0.0138
431-AH 0.0000 0.0389 0.6667 1.0000 1.0000 0.5154 0.4495 0.9611 1.0000 0.8721 0.1663 0.0003 0.4305 0.0000 1.0000 0.5154 0.4495
432-AH 0.0294 0.1714 0.5000 0.6500 1.0000 0.4918 0.3235 0.4786 0.9706 0.6579 0.3342 0.1643 0.2533 0.0294 1.0000 0.4918 0.3235
433-AH 0.0177 0.4667 1.0000 1.0000 1.0000 0.7824 0.3071 0.5333 0.9823 0.3925 0.6543 0.2845 0.2591 0.0177 1.0000 0.7824 0.3071
434-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8451 0.3020 0.0000 0.8571 0.3574 0.7510 0.6018 0.2410 1.0000 1.0000 1.0000 0.0000
435-AH 0.0130 0.1130 0.2222 0.3714 0.6667 0.2467 0.1790 0.2584 0.6537 0.7254 0.1698 0.0852 0.1357 0.0130 0.6667 0.2467 0.1790
436-AH 0.0000 0.0030 0.0208 0.0837 0.3333 0.0612 0.0854 0.0807 0.3333 1.3969 0.0071 0.0001 0.0621 0.0000 0.1765 0.0422 0.0524
437-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.9342 0.1667 0.0000 0.5556 0.1784 0.9138 0.8852 0.1122 1.0000 1.0000 1.0000 0.0000
438-AH 0.1600 0.2143 0.3333 0.4125 0.6000 0.3282 0.1194 0.1982 0.4400 0.3638 0.3076 0.2883 0.1025 0.1600 0.6000 0.3282 0.1194
439-AH 0.0000 0.0023 0.0051 0.0101 0.2500 0.0187 0.0507 0.0079 0.2500 2.7133 0.0019 0.0000 0.0240 0.0000 0.0180 0.0058 0.0054
440-AH 0.0730 0.3720 0.6667 0.8646 1.0000 0.6102 0.3113 0.4926 0.9270 0.5101 0.4822 0.3085 0.2580 0.0730 1.0000 0.6102 0.3113
441-AH 0.0000 0.0168 0.4000 1.0000 1.0000 0.4620 0.4140 0.9832 1.0000 0.8962 0.1056 0.0003 0.3588 0.0000 1.0000 0.4620 0.4140
442-AH 0.0476 0.5000 0.6667 1.0000 1.0000 0.6702 0.3196 0.5000 0.9524 0.4768 0.5417 0.3176 0.2687 0.0476 1.0000 0.6702 0.3196
443-AH 0.0112 0.0525 0.1081 0.3333 1.0000 0.3098 0.3856 0.2808 0.9888 1.2445 0.1279 0.0494 0.3102 0.0112 0.3333 0.1126 0.0975
444-AH 0.0312 0.3333 0.4000 0.6667 1.0000 0.5020 0.2806 0.3333 0.9688 0.5590 0.4107 0.2736 0.2331 0.0312 1.0000 0.5020 0.2806
445-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9907 0.0481 0.0000 0.2500 0.0486 0.9894 0.9878 0.0178 1.0000 1.0000 1.0000 0.0000
446-AH 0.0053 0.0376 0.0968 0.1780 0.4286 0.1110 0.0966 0.1405 0.4232 0.8705 0.0678 0.0296 0.0729 0.0053 0.2273 0.0988 0.0743
447-AH 0.5000 0.5714 0.7500 1.0000 1.0000 0.7769 0.2156 0.4286 0.5000 0.2776 0.7470 0.7177 0.2025 0.5000 1.0000 0.7769 0.2156
448-AH 0.0021 0.6667 0.7500 0.7875 1.0000 0.6423 0.3244 0.1208 0.9979 0.5050 0.4275 0.0471 0.2453 0.6667 0.8000 0.7200 0.0468
449-AH 0.0143 0.0704 0.2500 1.0000 1.0000 0.4733 0.4327 0.9296 0.9857 0.9143 0.2277 0.0790 0.4045 0.0143 1.0000 0.4733 0.4327
450-AH 0.0182 0.0714 0.1818 0.6563 1.0000 0.3327 0.3219 0.5848 0.9818 0.9677 0.1827 0.0886 0.2841 0.0182 1.0000 0.3327 0.3219
61
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1282 0.2557 0.5000 0.5000 0.6000 0.3971 0.1511 0.2443 0.4718 0.3806 0.3620 0.3206 0.1342 0.1282 0.6000 0.3971 0.1511
402-AH 0.0615 0.5647 0.6667 0.8000 1.0000 0.6373 0.2346 0.2353 0.9385 0.3680 0.5651 0.4254 0.1792 0.4211 1.0000 0.6993 0.1604
403-AH 0.0010 0.0200 0.0588 0.2232 1.0000 0.1860 0.3046 0.2033 0.9990 1.6374 0.0586 0.0140 0.1998 0.0010 0.2500 0.0843 0.0874
404-AH 0.1437 0.5689 0.7333 0.8235 1.0000 0.6634 0.2266 0.2546 0.8563 0.3416 0.6016 0.5024 0.1741 0.4231 1.0000 0.7268 0.1426
405-AH 0.0056 0.8125 1.0000 1.0000 1.0000 0.8922 0.2266 0.1875 0.9944 0.2540 0.7558 0.1292 0.1597 0.6667 1.0000 0.9433 0.1172
406-AH 0.0129 0.0994 0.2000 0.3938 0.6000 0.2456 0.1794 0.2944 0.5871 0.7304 0.1686 0.0945 0.1549 0.0129 0.6000 0.2456 0.1794
407-AH 0.0021 0.0426 0.3000 0.8000 1.0000 0.4519 0.4094 0.7574 0.9979 0.9061 0.1567 0.0194 0.3809 0.0021 1.0000 0.4519 0.4094
408-AH 0.7500 0.9000 1.0000 1.0000 1.0000 0.9532 0.0791 0.1000 0.2500 0.0830 0.9498 0.9461 0.0659 0.7500 1.0000 0.9532 0.0791
409-AH 0.0058 0.0501 0.0652 0.1424 0.3750 0.0979 0.0901 0.0923 0.3692 0.9209 0.0609 0.0309 0.0673 0.0058 0.2727 0.0872 0.0725
410-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.9242 0.1753 0.0000 0.5556 0.1896 0.9019 0.8713 0.1235 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0029 0.0085 0.0138 1.0000 0.0473 0.1907 0.0110 1.0000 4.0350 0.0058 0.0001 0.0706 0.0000 0.0238 0.0083 0.0068
412-AH 0.0127 0.0416 0.1154 0.1892 0.7500 0.1564 0.1532 0.1475 0.7373 0.9795 0.1046 0.0666 0.1037 0.0127 0.3846 0.1336 0.0989
413-AH 0.0161 0.1146 0.2500 0.4583 1.0000 0.3130 0.2919 0.3438 0.9839 0.9325 0.1890 0.0931 0.2156 0.0161 0.5000 0.2271 0.1645
414-AH 0.0183 0.2156 0.6000 1.0000 1.0000 0.5529 0.3633 0.7844 0.9817 0.6571 0.3523 0.1361 0.3048 0.0183 1.0000 0.5529 0.3633
415-AH 0.0474 0.2649 0.4762 0.5290 0.6667 0.4205 0.1795 0.2641 0.6193 0.4268 0.3591 0.2543 0.1514 0.0474 0.6667 0.4205 0.1795
416-AH 0.0556 0.2857 0.3333 0.4286 0.6667 0.3584 0.1229 0.1429 0.6111 0.3430 0.3324 0.2882 0.0923 0.2000 0.5714 0.3581 0.0927
417-AH 0.0773 0.4454 0.8750 0.9000 1.0000 0.6992 0.3123 0.4546 0.9227 0.4466 0.5763 0.3828 0.2662 0.0773 1.0000 0.6992 0.3123
418-AH 0.1333 0.6875 1.0000 1.0000 1.0000 0.8259 0.2596 0.3125 0.8667 0.3143 0.7558 0.6304 0.2063 0.2500 1.0000 0.8526 0.2240
419-AH 0.0556 0.2000 0.3333 0.5000 1.0000 0.3884 0.2677 0.3000 0.9444 0.6892 0.3052 0.2259 0.2103 0.0556 0.5000 0.3119 0.1615
420-AH 0.0153 0.3409 0.4286 0.5417 0.7500 0.4107 0.1951 0.2008 0.7347 0.4752 0.2982 0.1128 0.1425 0.0508 0.7500 0.4598 0.1429
421-AH 0.0233 0.5000 1.0000 1.0000 1.0000 0.7117 0.3572 0.5000 0.9767 0.5019 0.5416 0.2617 0.3121 0.0233 1.0000 0.7117 0.3572
422-AH 0.0000 0.0148 0.0308 0.0950 0.4375 0.0725 0.0939 0.0802 0.4375 1.2961 0.0301 0.0003 0.0642 0.0000 0.1778 0.0517 0.0507
423-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8613 0.2718 0.0000 0.8000 0.3155 0.7921 0.6835 0.2157 1.0000 1.0000 1.0000 0.0000
424-AH 0.0058 0.0777 0.2000 0.3182 1.0000 0.2493 0.2599 0.2405 0.9942 1.0426 0.1346 0.0481 0.1789 0.0058 0.5000 0.1892 0.1499
425-AH 0.0168 0.0639 0.3333 0.5000 1.0000 0.3532 0.3108 0.4361 0.9832 0.8799 0.1935 0.0774 0.2436 0.0168 1.0000 0.3532 0.3108
426-AH 0.0000 0.0677 0.1364 0.2286 0.3846 0.1560 0.1058 0.1608 0.3846 0.6785 0.0680 0.0001 0.0858 0.0000 0.3846 0.1560 0.1058
427-AH 0.0584 0.1617 0.1875 0.2452 0.3333 0.2003 0.0693 0.0835 0.2749 0.3461 0.1874 0.1724 0.0552 0.0584 0.3333 0.2003 0.0693
428-AH 0.0022 0.0149 0.0328 0.0534 0.1538 0.0393 0.0332 0.0385 0.1517 0.8448 0.0267 0.0152 0.0242 0.0022 0.0833 0.0349 0.0245
429-AH 0.0188 0.2184 0.3000 0.3887 0.8182 0.3355 0.2322 0.1703 0.7994 0.6922 0.2299 0.1045 0.1672 0.0188 0.5000 0.2563 0.1386
430-AH 0.0000 0.0015 0.0039 0.0290 1.0000 0.0642 0.1949 0.0275 1.0000 3.0379 0.0039 0.0001 0.0929 0.0000 0.0476 0.0096 0.0138
431-AH 0.0000 0.0376 0.2222 0.9068 1.0000 0.4550 0.4290 0.8692 1.0000 0.9427 0.1390 0.0003 0.4025 0.0000 1.0000 0.4550 0.4290
432-AH 0.0280 0.1714 0.5000 0.6500 1.0000 0.4449 0.2678 0.4786 0.9720 0.6020 0.3058 0.1453 0.2196 0.0280 1.0000 0.4449 0.2678
433-AH 0.0101 0.3571 1.0000 1.0000 1.0000 0.7340 0.3585 0.6429 0.9899 0.4884 0.5498 0.1756 0.3078 0.0101 1.0000 0.7340 0.3585
434-AH 0.0870 0.8125 1.0000 1.0000 1.0000 0.8338 0.3060 0.1875 0.9130 0.3670 0.7295 0.5433 0.2463 0.7500 1.0000 0.9881 0.0546
435-AH 0.0113 0.0898 0.1923 0.2291 0.6667 0.1770 0.1374 0.1393 0.6554 0.7762 0.1221 0.0609 0.0972 0.0113 0.4000 0.1582 0.0984
436-AH 0.0000 0.0000 0.0208 0.0822 0.3333 0.0589 0.0860 0.0822 0.3333 1.4612 0.0035 0.0000 0.0627 0.0000 0.1765 0.0397 0.0525
437-AH 0.4444 0.8500 1.0000 1.0000 1.0000 0.8971 0.1875 0.1500 0.5556 0.2090 0.8727 0.8416 0.1524 0.6667 1.0000 0.9623 0.1022
438-AH 0.1017 0.1918 0.2553 0.3306 0.6000 0.2681 0.1199 0.1389 0.4983 0.4471 0.2426 0.2176 0.0924 0.1017 0.4444 0.2554 0.1018
439-AH 0.0000 0.0000 0.0032 0.0096 0.2308 0.0167 0.0477 0.0096 0.2308 2.8598 0.0005 0.0000 0.0229 0.0000 0.0170 0.0043 0.0053
440-AH 0.0730 0.3288 0.6250 0.8621 1.0000 0.5842 0.3124 0.5333 0.9270 0.5347 0.4599 0.3000 0.2640 0.0730 1.0000 0.5842 0.3124
441-AH 0.0000 0.0094 0.4000 0.7125 1.0000 0.4166 0.3870 0.7031 1.0000 0.9289 0.0477 0.0001 0.3223 0.0000 1.0000 0.4166 0.3870
442-AH 0.0476 0.5000 0.6667 1.0000 1.0000 0.6702 0.3196 0.5000 0.9524 0.4768 0.5417 0.3176 0.2687 0.0476 1.0000 0.6702 0.3196
443-AH 0.0112 0.0425 0.1053 0.1758 1.0000 0.1867 0.2625 0.1333 0.9888 1.4057 0.0929 0.0460 0.1625 0.0112 0.2500 0.1017 0.0734
444-AH 0.0218 0.2088 0.3103 0.3333 0.5714 0.2866 0.1301 0.1245 0.5496 0.4540 0.2401 0.1611 0.0983 0.0543 0.4444 0.2858 0.1097
445-AH 0.7500 1.0000 1.0000 1.0000 1.0000 0.9907 0.0481 0.0000 0.2500 0.0486 0.9894 0.9878 0.0178 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0175 0.0658 0.1608 0.3529 0.0934 0.0890 0.1433 0.3529 0.9522 0.0328 0.0001 0.0696 0.0000 0.3529 0.0934 0.0890
447-AH 0.4444 0.5714 0.7143 0.7500 1.0000 0.7087 0.1729 0.1786 0.5556 0.2439 0.6891 0.6705 0.1390 0.4444 1.0000 0.7087 0.1729
448-AH 0.0000 0.6667 0.6667 0.7500 1.0000 0.5812 0.2830 0.0833 1.0000 0.4869 0.3169 0.0003 0.2231 0.6667 0.8000 0.7108 0.0466
449-AH 0.0132 0.0480 0.2500 0.6667 1.0000 0.3850 0.3735 0.6187 0.9868 0.9702 0.1730 0.0592 0.3249 0.0132 1.0000 0.3850 0.3735
450-AH 0.0145 0.0714 0.1489 0.5000 1.0000 0.2865 0.2937 0.4286 0.9855 1.0251 0.1572 0.0771 0.2443 0.0145 1.0000 0.2865 0.2937
62
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1059 0.2000 0.3333 0.3636 0.5714 0.3217 0.1419 0.1636 0.4655 0.4411 0.2893 0.2563 0.1120 0.1059 0.5714 0.3217 0.1419
402-AH 0.0484 0.3264 0.4815 0.5217 0.7647 0.4270 0.1804 0.1954 0.7163 0.4225 0.3683 0.2780 0.1442 0.0484 0.7647 0.4270 0.1804
403-AH 0.0000 0.0063 0.0197 0.0498 1.0000 0.1000 0.2303 0.0435 1.0000 2.3037 0.0137 0.0001 0.1349 0.0000 0.0857 0.0208 0.0226
404-AH 0.1437 0.5000 0.6667 0.7719 0.8261 0.5885 0.2212 0.2719 0.6824 0.3759 0.5283 0.4444 0.1796 0.1437 0.8261 0.5885 0.2212
405-AH 0.0056 0.6000 0.7500 1.0000 1.0000 0.7378 0.2581 0.4000 0.9944 0.3498 0.6061 0.1233 0.1867 0.0056 1.0000 0.7378 0.2581
406-AH 0.0129 0.0675 0.1800 0.3269 0.5000 0.2167 0.1673 0.2594 0.4871 0.7719 0.1467 0.0858 0.1424 0.0129 0.5000 0.2167 0.1673
407-AH 0.0000 0.0426 0.3000 0.7708 1.0000 0.4116 0.3939 0.7282 1.0000 0.9571 0.1110 0.0003 0.3658 0.0000 1.0000 0.4116 0.3939
408-AH 0.7500 0.8437 1.0000 1.0000 1.0000 0.9321 0.0834 0.1563 0.2500 0.0895 0.9283 0.9244 0.0755 0.7500 1.0000 0.9321 0.0834
409-AH 0.0058 0.0501 0.0652 0.1424 0.3750 0.0979 0.0901 0.0923 0.3692 0.9209 0.0609 0.0309 0.0673 0.0058 0.2727 0.0872 0.0725
410-AH 0.2917 1.0000 1.0000 1.0000 1.0000 0.9028 0.2185 0.0000 0.7083 0.2420 0.8613 0.7962 0.1513 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0029 0.0085 0.0138 1.0000 0.0473 0.1907 0.0110 1.0000 4.0350 0.0058 0.0001 0.0706 0.0000 0.0238 0.0083 0.0068
412-AH 0.0123 0.0333 0.0811 0.1584 0.4211 0.1105 0.0950 0.1251 0.4088 0.8598 0.0755 0.0491 0.0725 0.0123 0.2500 0.0986 0.0734
413-AH 0.0161 0.1146 0.2500 0.4583 1.0000 0.3130 0.2919 0.3438 0.9839 0.9325 0.1890 0.0931 0.2156 0.0161 0.5000 0.2271 0.1645
414-AH 0.0041 0.1112 0.4000 0.6667 1.0000 0.4384 0.3421 0.5555 0.9959 0.7802 0.2230 0.0427 0.3072 0.0041 1.0000 0.4384 0.3421
415-AH 0.0364 0.1902 0.4500 0.5149 0.6000 0.3667 0.1836 0.3248 0.5636 0.5006 0.2931 0.1888 0.1623 0.0364 0.6000 0.3667 0.1836
416-AH 0.0556 0.2857 0.3200 0.3921 0.5714 0.3295 0.1067 0.1064 0.5159 0.3237 0.3037 0.2573 0.0711 0.2667 0.5000 0.3412 0.0647
417-AH 0.0000 0.2333 0.5714 0.7500 0.9231 0.5083 0.3009 0.5167 0.9231 0.5920 0.2768 0.0003 0.2589 0.0000 0.9231 0.5083 0.3009
418-AH 0.0811 0.6667 0.7500 1.0000 1.0000 0.7703 0.2570 0.3333 0.9189 0.3336 0.6947 0.5409 0.1894 0.2500 1.0000 0.7968 0.2212
419-AH 0.0556 0.2000 0.3333 0.5000 1.0000 0.3884 0.2677 0.3000 0.9444 0.6892 0.3052 0.2259 0.2103 0.0556 0.5000 0.3119 0.1615
420-AH 0.0153 0.3333 0.4000 0.4520 0.6667 0.3623 0.1746 0.1187 0.6514 0.4819 0.2596 0.0969 0.1236 0.2353 0.5556 0.3986 0.0740
421-AH 0.0059 0.3000 0.8000 1.0000 1.0000 0.6548 0.3691 0.7000 0.9941 0.5637 0.4493 0.1094 0.3260 0.0059 1.0000 0.6548 0.3691
422-AH 0.0000 0.0000 0.0249 0.0554 0.2439 0.0481 0.0637 0.0554 0.2439 1.3250 0.0038 0.0000 0.0487 0.0000 0.1333 0.0309 0.0397
423-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.8613 0.2718 0.0000 0.8000 0.3155 0.7921 0.6835 0.2157 1.0000 1.0000 1.0000 0.0000
424-AH 0.0032 0.0300 0.1000 0.1969 0.4000 0.1309 0.1234 0.1668 0.3968 0.9422 0.0685 0.0223 0.0990 0.0032 0.4000 0.1309 0.1234
425-AH 0.0168 0.0469 0.2308 0.4286 0.7500 0.2556 0.2179 0.3817 0.7332 0.8527 0.1433 0.0652 0.1868 0.0168 0.7500 0.2556 0.2179
426-AH 0.0000 0.0669 0.1228 0.1814 0.3636 0.1373 0.0937 0.1145 0.3636 0.6820 0.0613 0.0001 0.0738 0.0000 0.2963 0.1286 0.0836
427-AH 0.0584 0.1429 0.1818 0.2202 0.3158 0.1865 0.0624 0.0774 0.2574 0.3346 0.1757 0.1634 0.0475 0.0584 0.3158 0.1865 0.0624
428-AH 0.0022 0.0149 0.0328 0.0534 0.1538 0.0393 0.0332 0.0385 0.1517 0.8448 0.0267 0.0152 0.0242 0.0022 0.0833 0.0349 0.0245
429-AH 0.0123 0.1192 0.2308 0.3377 0.7500 0.2465 0.1843 0.2185 0.7377 0.7475 0.1631 0.0751 0.1397 0.0123 0.5909 0.2272 0.1575
430-AH 0.0000 0.0000 0.0021 0.0039 0.2857 0.0135 0.0546 0.0039 0.2857 4.0317 0.0003 0.0000 0.0208 0.0000 0.0086 0.0020 0.0027
431-AH 0.0000 0.0320 0.2188 0.7756 1.0000 0.4144 0.3948 0.7437 1.0000 0.9526 0.1256 0.0003 0.3653 0.0000 1.0000 0.4144 0.3948
432-AH 0.0238 0.1432 0.5000 0.6000 1.0000 0.4311 0.2692 0.4568 0.9762 0.6245 0.2794 0.1212 0.2210 0.0238 1.0000 0.4311 0.2692
433-AH 0.0101 0.1598 0.4118 0.9643 1.0000 0.5066 0.3735 0.8045 0.9899 0.7373 0.3248 0.1282 0.3350 0.0101 1.0000 0.5066 0.3735
434-AH 0.0870 0.6023 1.0000 1.0000 1.0000 0.8110 0.3271 0.3977 0.9130 0.4033 0.6912 0.4980 0.2732 0.0870 1.0000 0.8110 0.3271
435-AH 0.0089 0.0741 0.0968 0.1984 0.6667 0.1438 0.1343 0.1243 0.6578 0.9337 0.0956 0.0514 0.0931 0.0089 0.3478 0.1237 0.0860
436-AH 0.0000 0.0000 0.0208 0.0622 0.3125 0.0499 0.0796 0.0622 0.3125 1.5972 0.0016 0.0000 0.0552 0.0000 0.1346 0.0308 0.0415
437-AH 0.4444 0.7625 1.0000 1.0000 1.0000 0.8819 0.1968 0.2375 0.5556 0.2231 0.8552 0.8223 0.1663 0.4444 1.0000 0.8819 0.1968
438-AH 0.0638 0.1800 0.2373 0.2805 0.6000 0.2322 0.1057 0.1005 0.5362 0.4554 0.2087 0.1822 0.0725 0.0638 0.3333 0.2180 0.0775
439-AH 0.0000 0.0000 0.0000 0.0059 0.2105 0.0152 0.0444 0.0059 0.2105 2.9259 0.0003 0.0000 0.0217 0.0000 0.0104 0.0025 0.0033
440-AH 0.0728 0.3184 0.5143 0.8081 1.0000 0.5368 0.3110 0.4897 0.9272 0.5793 0.4142 0.2690 0.2661 0.0728 1.0000 0.5368 0.3110
441-AH 0.0000 0.0094 0.3333 0.7125 1.0000 0.3993 0.3905 0.7031 1.0000 0.9778 0.0295 0.0000 0.3302 0.0000 1.0000 0.3993 0.3905
442-AH 0.0211 0.2708 0.5000 1.0000 1.0000 0.5637 0.3526 0.7292 0.9789 0.6255 0.3790 0.1547 0.2966 0.0211 1.0000 0.5637 0.3526
443-AH 0.0068 0.0395 0.0938 0.1559 0.6000 0.1205 0.1329 0.1164 0.5932 1.1026 0.0706 0.0355 0.0883 0.0068 0.2500 0.0890 0.0676
444-AH 0.0194 0.1436 0.2571 0.3333 0.4286 0.2388 0.1145 0.1897 0.4092 0.4797 0.1950 0.1298 0.0959 0.0194 0.4286 0.2388 0.1145
445-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9635 0.0900 0.0000 0.2857 0.0934 0.9588 0.9535 0.0622 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0112 0.0503 0.0819 0.3438 0.0583 0.0695 0.0707 0.3438 1.1927 0.0083 0.0000 0.0435 0.0000 0.1458 0.0473 0.0404
447-AH 0.4444 0.5714 0.7000 0.7500 1.0000 0.6928 0.1646 0.1786 0.5556 0.2375 0.6750 0.6582 0.1332 0.4444 1.0000 0.6928 0.1646
448-AH 0.0000 0.3636 0.6000 0.7500 0.8000 0.5143 0.2744 0.3864 0.8000 0.5336 0.2572 0.0003 0.2234 0.0000 0.8000 0.5143 0.2744
449-AH 0.0115 0.0427 0.0968 0.3058 0.7500 0.2005 0.2185 0.2631 0.7385 1.0898 0.1004 0.0473 0.1776 0.0115 0.5000 0.1565 0.1567
450-AH 0.0115 0.0578 0.1250 0.3048 0.9231 0.2050 0.2110 0.2470 0.9116 1.0292 0.1221 0.0636 0.1569 0.0115 0.6154 0.1774 0.1578
63
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0833 0.1282 0.2273 0.3333 0.5556 0.2542 0.1442 0.2051 0.4722 0.5672 0.2166 0.1840 0.1170 0.0833 0.5556 0.2542 0.1442
402-AH 0.0391 0.1965 0.3673 0.4296 0.6538 0.3341 0.1672 0.2331 0.6148 0.5004 0.2727 0.1892 0.1311 0.0391 0.6538 0.3341 0.1672
403-AH 0.0000 0.0063 0.0197 0.0498 1.0000 0.1000 0.2303 0.0435 1.0000 2.3037 0.0137 0.0001 0.1349 0.0000 0.0857 0.0208 0.0226
404-AH 0.1353 0.4398 0.5814 0.7255 0.8261 0.5408 0.2135 0.2857 0.6907 0.3948 0.4813 0.4008 0.1751 0.1353 0.8261 0.5408 0.2135
405-AH 0.0056 0.6000 0.7500 1.0000 1.0000 0.7378 0.2581 0.4000 0.9944 0.3498 0.6061 0.1233 0.1867 0.0056 1.0000 0.7378 0.2581
406-AH 0.0061 0.0393 0.1053 0.2286 0.4615 0.1414 0.1159 0.1894 0.4554 0.8195 0.0890 0.0442 0.0959 0.0061 0.4615 0.1414 0.1159
407-AH 0.0000 0.0426 0.3000 0.7708 1.0000 0.4116 0.3939 0.7282 1.0000 0.9571 0.1110 0.0003 0.3658 0.0000 1.0000 0.4116 0.3939
408-AH 0.6364 0.8139 0.8889 0.9773 1.0000 0.8773 0.1001 0.1634 0.3636 0.1141 0.8715 0.8654 0.0752 0.6364 1.0000 0.8773 0.1001
409-AH 0.0058 0.0148 0.0577 0.1016 0.3750 0.0776 0.0929 0.0868 0.3692 1.1980 0.0402 0.0221 0.0669 0.0058 0.1667 0.0499 0.0465
410-AH 0.2051 0.8188 1.0000 1.0000 1.0000 0.8621 0.2451 0.1812 0.7949 0.2843 0.8003 0.6918 0.1718 0.6364 1.0000 0.9407 0.0991
411-AH 0.0000 0.0029 0.0085 0.0138 1.0000 0.0473 0.1907 0.0110 1.0000 4.0350 0.0058 0.0001 0.0706 0.0000 0.0238 0.0083 0.0068
412-AH 0.0110 0.0308 0.0609 0.1132 0.3125 0.0774 0.0639 0.0824 0.3015 0.8259 0.0569 0.0409 0.0460 0.0110 0.1471 0.0684 0.0442
413-AH 0.0161 0.1146 0.2500 0.4583 1.0000 0.3130 0.2919 0.3438 0.9839 0.9325 0.1890 0.0931 0.2156 0.0161 0.5000 0.2271 0.1645
414-AH 0.0000 0.0456 0.2222 0.5675 1.0000 0.3180 0.3043 0.5218 1.0000 0.9571 0.0902 0.0001 0.2523 0.0000 1.0000 0.3180 0.3043
415-AH 0.0000 0.1732 0.3654 0.4496 0.5278 0.3086 0.1659 0.2765 0.5278 0.5375 0.1359 0.0001 0.1452 0.0000 0.5278 0.3086 0.1659
416-AH 0.0545 0.2857 0.3200 0.3806 0.5714 0.3234 0.1011 0.0949 0.5169 0.3126 0.2985 0.2516 0.0650 0.2667 0.4667 0.3347 0.0535
417-AH 0.0000 0.1433 0.4250 0.5981 0.8947 0.4002 0.2673 0.4549 0.8947 0.6678 0.2097 0.0003 0.2330 0.0000 0.8947 0.4002 0.2673
418-AH 0.0000 0.1536 0.6667 0.6667 1.0000 0.5175 0.3286 0.5131 1.0000 0.6349 0.1589 0.0001 0.2686 0.0000 1.0000 0.5175 0.3286
419-AH 0.0078 0.1456 0.1667 0.1955 0.3333 0.1596 0.0770 0.0499 0.3256 0.4821 0.1226 0.0578 0.0520 0.0800 0.2500 0.1724 0.0340
420-AH 0.0052 0.2500 0.3846 0.4481 0.6250 0.3303 0.1768 0.1981 0.6198 0.5355 0.2077 0.0432 0.1371 0.0052 0.6250 0.3303 0.1768
421-AH 0.0059 0.3000 0.8000 1.0000 1.0000 0.6548 0.3691 0.7000 0.9941 0.5637 0.4493 0.1094 0.3260 0.0059 1.0000 0.6548 0.3691
422-AH 0.0000 0.0000 0.0136 0.0318 0.0878 0.0208 0.0284 0.0318 0.0878 1.3651 0.0007 0.0000 0.0222 0.0000 0.0783 0.0157 0.0225
423-AH 0.1364 0.5250 0.7500 1.0000 1.0000 0.6950 0.2987 0.4750 0.8636 0.4297 0.6050 0.4858 0.2500 0.1364 1.0000 0.6950 0.2987
424-AH 0.0032 0.0300 0.1000 0.1969 0.4000 0.1309 0.1234 0.1668 0.3968 0.9422 0.0685 0.0223 0.0990 0.0032 0.4000 0.1309 0.1234
425-AH 0.0000 0.0416 0.1429 0.3022 0.5000 0.1752 0.1491 0.2606 0.5000 0.8508 0.0619 0.0001 0.1307 0.0000 0.5000 0.1752 0.1491
426-AH 0.0000 0.0637 0.0971 0.1731 0.2812 0.1108 0.0743 0.1094 0.2812 0.6705 0.0492 0.0001 0.0599 0.0000 0.2812 0.1108 0.0743
427-AH 0.0584 0.1357 0.1667 0.2060 0.3158 0.1763 0.0622 0.0703 0.2574 0.3527 0.1659 0.1551 0.0457 0.0584 0.2857 0.1653 0.0498
428-AH 0.0000 0.0071 0.0185 0.0349 0.1071 0.0244 0.0242 0.0278 0.1071 0.9938 0.0084 0.0001 0.0178 0.0000 0.0685 0.0212 0.0180
429-AH 0.0000 0.0933 0.1852 0.2712 0.7500 0.2050 0.1723 0.1779 0.7500 0.8402 0.0791 0.0001 0.1247 0.0000 0.5172 0.1840 0.1361
430-AH 0.0000 0.0000 0.0021 0.0039 0.2857 0.0135 0.0546 0.0039 0.2857 4.0317 0.0003 0.0000 0.0208 0.0000 0.0086 0.0020 0.0027
431-AH 0.0000 0.0295 0.1964 0.7692 1.0000 0.3971 0.3819 0.7397 1.0000 0.9618 0.1206 0.0003 0.3518 0.0000 1.0000 0.3971 0.3819
432-AH 0.0238 0.1432 0.5000 0.6000 1.0000 0.4311 0.2692 0.4568 0.9762 0.6245 0.2794 0.1212 0.2210 0.0238 1.0000 0.4311 0.2692
433-AH 0.0101 0.0715 0.2759 0.8667 1.0000 0.4235 0.3841 0.7951 0.9899 0.9068 0.2105 0.0757 0.3426 0.0101 1.0000 0.4235 0.3841
434-AH 0.0600 0.5893 1.0000 1.0000 1.0000 0.7907 0.3454 0.4107 0.9400 0.4368 0.6221 0.3350 0.2845 0.0600 1.0000 0.7907 0.3454
435-AH 0.0000 0.0495 0.0809 0.1721 0.3478 0.1072 0.0813 0.1226 0.3478 0.7586 0.0585 0.0003 0.0651 0.0000 0.3478 0.1072 0.0813
436-AH 0.0000 0.0000 0.0208 0.0607 0.3125 0.0489 0.0797 0.0607 0.3125 1.6308 0.0015 0.0000 0.0550 0.0000 0.1346 0.0298 0.0411
437-AH 0.3333 0.5952 1.0000 1.0000 1.0000 0.8409 0.2296 0.4048 0.6667 0.2730 0.8024 0.7552 0.2004 0.3333 1.0000 0.8409 0.2296
438-AH 0.0504 0.1344 0.2162 0.2553 0.3000 0.1980 0.0773 0.1209 0.2496 0.3902 0.1780 0.1519 0.0648 0.0504 0.3000 0.1980 0.0773
439-AH 0.0000 0.0000 0.0000 0.0058 0.0167 0.0026 0.0045 0.0058 0.0167 1.7181 0.0001 0.0000 0.0037 0.0000 0.0099 0.0021 0.0036
440-AH 0.0623 0.2646 0.5143 0.7843 1.0000 0.5023 0.3075 0.5197 0.9377 0.6122 0.3793 0.2422 0.2670 0.0623 1.0000 0.5023 0.3075
441-AH 0.0000 0.0094 0.3333 0.7125 1.0000 0.3993 0.3905 0.7031 1.0000 0.9778 0.0295 0.0000 0.3302 0.0000 1.0000 0.3993 0.3905
442-AH 0.0211 0.2708 0.5000 1.0000 1.0000 0.5637 0.3526 0.7292 0.9789 0.6255 0.3790 0.1547 0.2966 0.0211 1.0000 0.5637 0.3526
443-AH 0.0000 0.0319 0.0556 0.1081 0.2778 0.0803 0.0736 0.0762 0.2778 0.9162 0.0327 0.0001 0.0578 0.0000 0.1818 0.0657 0.0531
444-AH 0.0127 0.1436 0.2333 0.3043 0.3810 0.2199 0.1080 0.1607 0.3683 0.4912 0.1729 0.0981 0.0880 0.0127 0.3810 0.2199 0.1080
445-AH 0.7143 1.0000 1.0000 1.0000 1.0000 0.9635 0.0900 0.0000 0.2857 0.0934 0.9588 0.9535 0.0622 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0000 0.0311 0.0545 0.3438 0.0452 0.0682 0.0545 0.3438 1.5091 0.0038 0.0000 0.0385 0.0000 0.1220 0.0337 0.0337
447-AH 0.3571 0.5480 0.5714 0.6667 0.8333 0.5989 0.1292 0.1187 0.4762 0.2157 0.5847 0.5696 0.1019 0.3846 0.8333 0.6183 0.1132
448-AH 0.0000 0.0860 0.2353 0.5675 0.8000 0.3103 0.2491 0.4815 0.8000 0.8030 0.1411 0.0003 0.2206 0.0000 0.8000 0.3103 0.2491
449-AH 0.0093 0.0144 0.0455 0.2417 0.5000 0.1256 0.1541 0.2272 0.4907 1.2268 0.0552 0.0274 0.1256 0.0093 0.5000 0.1256 0.1541
450-AH 0.0000 0.0486 0.1111 0.2361 0.9231 0.1704 0.1892 0.1875 0.9231 1.1106 0.0619 0.0001 0.1270 0.0000 0.4333 0.1414 0.1170
64
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0266 0.0894 0.1538 0.2768 0.5455 0.2039 0.1532 0.1874 0.5188 0.7515 0.1568 0.1185 0.1179 0.0266 0.5455 0.2039 0.1532
402-AH 0.0237 0.1253 0.2469 0.3324 0.6061 0.2546 0.1652 0.2071 0.5824 0.6490 0.1893 0.1174 0.1288 0.0237 0.6061 0.2546 0.1652
403-AH 0.0000 0.0033 0.0116 0.0436 0.3000 0.0432 0.0776 0.0403 0.3000 1.7959 0.0042 0.0000 0.0490 0.0000 0.0857 0.0185 0.0228
404-AH 0.1194 0.3929 0.5641 0.6554 0.7586 0.5018 0.1956 0.2625 0.6392 0.3898 0.4470 0.3717 0.1608 0.1194 0.7586 0.5018 0.1956
405-AH 0.0056 0.5000 0.5556 0.6500 1.0000 0.5447 0.2293 0.1500 0.9944 0.4209 0.4373 0.1135 0.1524 0.4000 0.8000 0.5818 0.0976
406-AH 0.0000 0.0278 0.1045 0.2148 0.2800 0.1196 0.0941 0.1870 0.2800 0.7869 0.0451 0.0001 0.0822 0.0000 0.2800 0.1196 0.0941
407-AH 0.0000 0.0426 0.1053 0.7619 1.0000 0.3836 0.3944 0.7193 1.0000 1.0280 0.0642 0.0001 0.3682 0.0000 1.0000 0.3836 0.3944
408-AH 0.6111 0.7734 0.8889 0.9000 1.0000 0.8480 0.1110 0.1266 0.3889 0.1309 0.8406 0.8330 0.0922 0.6111 1.0000 0.8480 0.1110
409-AH 0.0058 0.0148 0.0577 0.1016 0.3750 0.0776 0.0929 0.0868 0.3692 1.1980 0.0402 0.0221 0.0669 0.0058 0.1667 0.0499 0.0465
410-AH 0.2051 0.8000 0.9000 1.0000 1.0000 0.8256 0.2549 0.2000 0.7949 0.3087 0.7583 0.6458 0.1869 0.5333 1.0000 0.9030 0.1315
411-AH 0.0000 0.0029 0.0085 0.0138 1.0000 0.0473 0.1907 0.0110 1.0000 4.0350 0.0058 0.0001 0.0706 0.0000 0.0238 0.0083 0.0068
412-AH 0.0000 0.0210 0.0551 0.0801 0.3077 0.0630 0.0589 0.0591 0.3077 0.9358 0.0358 0.0003 0.0371 0.0000 0.1154 0.0536 0.0336
413-AH 0.0161 0.1146 0.2500 0.4583 1.0000 0.3130 0.2919 0.3438 0.9839 0.9325 0.1890 0.0931 0.2156 0.0161 0.5000 0.2271 0.1645
414-AH 0.0000 0.0382 0.2222 0.4904 1.0000 0.2977 0.2863 0.4522 1.0000 0.9614 0.0668 0.0001 0.2330 0.0000 1.0000 0.2977 0.2863
415-AH 0.0000 0.1159 0.2892 0.3357 0.4800 0.2419 0.1403 0.2198 0.4800 0.5799 0.1052 0.0001 0.1221 0.0000 0.4800 0.2419 0.1403
416-AH 0.0545 0.2800 0.3200 0.3656 0.5556 0.3126 0.1019 0.0856 0.5010 0.3259 0.2877 0.2434 0.0684 0.2083 0.4667 0.3233 0.0603
417-AH 0.0000 0.0806 0.2410 0.4674 0.8333 0.2794 0.2219 0.3868 0.8333 0.7941 0.1427 0.0003 0.1842 0.0000 0.8333 0.2794 0.2219
418-AH 0.0000 0.1536 0.6667 0.6667 1.0000 0.5175 0.3286 0.5131 1.0000 0.6349 0.1589 0.0001 0.2686 0.0000 1.0000 0.5175 0.3286
419-AH 0.0078 0.1456 0.1667 0.1955 0.3333 0.1596 0.0770 0.0499 0.3256 0.4821 0.1226 0.0578 0.0520 0.0800 0.2500 0.1724 0.0340
420-AH 0.0000 0.1788 0.3043 0.3882 0.6000 0.2753 0.1503 0.2095 0.6000 0.5461 0.1085 0.0001 0.1157 0.0000 0.6000 0.2753 0.1503
421-AH 0.0000 0.0936 0.6667 0.8333 1.0000 0.5196 0.3881 0.7398 1.0000 0.7469 0.2313 0.0003 0.3624 0.0000 1.0000 0.5196 0.3881
422-AH 0.0000 0.0000 0.0000 0.0000 0.0374 0.0067 0.0131 0.0000 0.0374 1.9455 0.0001 0.0000 0.0105 0.0000 0.0000 0.0000 0.0000
423-AH 0.1364 0.5250 0.7500 1.0000 1.0000 0.6950 0.2987 0.4750 0.8636 0.4297 0.6050 0.4858 0.2500 0.1364 1.0000 0.6950 0.2987
424-AH 0.0032 0.0300 0.1000 0.1969 0.4000 0.1309 0.1234 0.1668 0.3968 0.9422 0.0685 0.0223 0.0990 0.0032 0.4000 0.1309 0.1234
425-AH 0.0000 0.0328 0.0943 0.2225 0.3529 0.1256 0.1073 0.1897 0.3529 0.8544 0.0356 0.0001 0.0923 0.0000 0.3529 0.1256 0.1073
426-AH 0.0000 0.0553 0.0833 0.1262 0.2241 0.0909 0.0623 0.0709 0.2241 0.6854 0.0405 0.0001 0.0477 0.0000 0.2241 0.0909 0.0623
427-AH 0.0584 0.1357 0.1667 0.2060 0.3158 0.1763 0.0622 0.0703 0.2574 0.3527 0.1659 0.1551 0.0457 0.0584 0.2857 0.1653 0.0498
428-AH 0.0000 0.0071 0.0185 0.0349 0.1071 0.0244 0.0242 0.0278 0.1071 0.9938 0.0084 0.0001 0.0178 0.0000 0.0685 0.0212 0.0180
429-AH 0.0000 0.0365 0.1000 0.2375 0.6452 0.1580 0.1656 0.2010 0.6452 1.0480 0.0312 0.0001 0.1269 0.0000 0.4872 0.1393 0.1367
430-AH 0.0000 0.0000 0.0021 0.0039 0.2857 0.0135 0.0546 0.0039 0.2857 4.0317 0.0003 0.0000 0.0208 0.0000 0.0086 0.0020 0.0027
431-AH 0.0000 0.0226 0.1964 0.7458 0.9231 0.3507 0.3524 0.7233 0.9231 1.0047 0.0619 0.0001 0.3180 0.0000 0.9231 0.3507 0.3524
432-AH 0.0000 0.1024 0.5000 0.5833 0.7500 0.3979 0.2538 0.4810 0.7500 0.6379 0.1604 0.0003 0.2213 0.0000 0.7500 0.3979 0.2538
433-AH 0.0000 0.0619 0.1351 0.7458 1.0000 0.3481 0.3661 0.6840 1.0000 1.0517 0.1136 0.0003 0.3150 0.0000 1.0000 0.3481 0.3661
434-AH 0.0302 0.5158 1.0000 1.0000 1.0000 0.7732 0.3597 0.4842 0.9698 0.4652 0.5671 0.2256 0.2988 0.0302 1.0000 0.7732 0.3597
435-AH 0.0000 0.0299 0.0621 0.1136 0.2500 0.0820 0.0678 0.0836 0.2500 0.8270 0.0272 0.0001 0.0519 0.0000 0.2340 0.0755 0.0601
436-AH 0.0000 0.0000 0.0208 0.0572 0.2500 0.0445 0.0689 0.0572 0.2500 1.5478 0.0012 0.0000 0.0498 0.0000 0.1346 0.0288 0.0409
437-AH 0.3333 0.5952 1.0000 1.0000 1.0000 0.8409 0.2296 0.4048 0.6667 0.2730 0.8024 0.7552 0.2004 0.3333 1.0000 0.8409 0.2296
438-AH 0.0259 0.1191 0.1807 0.2270 0.2903 0.1710 0.0769 0.1079 0.2644 0.4495 0.1464 0.1114 0.0632 0.0259 0.2903 0.1710 0.0769
439-AH 0.0000 0.0000 0.0000 0.0000 0.0164 0.0013 0.0039 0.0000 0.0164 3.0324 0.0000 0.0000 0.0023 0.0000 0.0000 0.0000 0.0000
440-AH 0.0623 0.2616 0.3846 0.7356 1.0000 0.4745 0.2981 0.4739 0.9377 0.6282 0.3600 0.2361 0.2558 0.0623 1.0000 0.4745 0.2981
441-AH 0.0000 0.0094 0.2500 0.5536 1.0000 0.3584 0.3920 0.5442 1.0000 1.0938 0.0249 0.0000 0.3267 0.0000 1.0000 0.3584 0.3920
442-AH 0.0000 0.0519 0.2000 0.6000 1.0000 0.3296 0.3282 0.5481 1.0000 0.9957 0.1110 0.0003 0.2817 0.0000 1.0000 0.3296 0.3282
443-AH 0.0000 0.0295 0.0515 0.0902 0.2778 0.0676 0.0604 0.0608 0.2778 0.8936 0.0284 0.0001 0.0436 0.0000 0.1613 0.0595 0.0443
444-AH 0.0127 0.1330 0.2041 0.2803 0.3667 0.1987 0.1007 0.1472 0.3540 0.5068 0.1576 0.0941 0.0823 0.0127 0.3667 0.1987 0.1007
445-AH 0.2143 0.7625 1.0000 1.0000 1.0000 0.8441 0.2746 0.2375 0.7857 0.3253 0.7676 0.6452 0.2079 0.7143 1.0000 0.9499 0.0992
446-AH 0.0000 0.0000 0.0261 0.0448 0.3438 0.0395 0.0672 0.0448 0.3438 1.6992 0.0033 0.0000 0.0355 0.0000 0.1068 0.0278 0.0291
447-AH 0.1316 0.5402 0.5625 0.6667 0.8333 0.5720 0.1495 0.1265 0.7018 0.2613 0.5454 0.5016 0.1004 0.3571 0.8333 0.5889 0.1232
448-AH 0.0000 0.0726 0.2222 0.4886 0.6250 0.2822 0.2195 0.4160 0.6250 0.7776 0.1307 0.0003 0.1967 0.0000 0.6250 0.2822 0.2195
449-AH 0.0000 0.0106 0.0376 0.1478 0.5000 0.1081 0.1524 0.1372 0.5000 1.4094 0.0192 0.0001 0.1183 0.0000 0.3125 0.0640 0.0886
450-AH 0.0000 0.0486 0.0882 0.1897 0.9231 0.1489 0.1848 0.1412 0.9231 1.2405 0.0537 0.0001 0.1156 0.0000 0.2727 0.1066 0.0823
65
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0266 0.0838 0.1059 0.2351 0.5385 0.1643 0.1393 0.1513 0.5118 0.8474 0.1236 0.0966 0.1062 0.0266 0.4444 0.1360 0.0982
402-AH 0.0000 0.0609 0.1529 0.2974 0.5814 0.1874 0.1707 0.2365 0.5814 0.9106 0.0393 0.0001 0.1323 0.0000 0.5814 0.1874 0.1707
403-AH 0.0000 0.0033 0.0116 0.0436 0.3000 0.0432 0.0776 0.0403 0.3000 1.7959 0.0042 0.0000 0.0490 0.0000 0.0857 0.0185 0.0228
404-AH 0.1089 0.2851 0.4500 0.5838 0.6136 0.4207 0.1694 0.2987 0.5048 0.4027 0.3756 0.3183 0.1461 0.1089 0.6136 0.4207 0.1694
405-AH 0.0056 0.4659 0.5000 0.5556 1.0000 0.4900 0.2019 0.0896 0.9944 0.4121 0.3928 0.1094 0.1330 0.3846 0.6667 0.5295 0.0679
406-AH 0.0000 0.0211 0.0833 0.1753 0.2667 0.1056 0.0852 0.1542 0.2667 0.8067 0.0397 0.0001 0.0733 0.0000 0.2667 0.1056 0.0852
407-AH 0.0000 0.0164 0.1000 0.6920 1.0000 0.3450 0.3668 0.6755 1.0000 1.0632 0.0318 0.0001 0.3425 0.0000 1.0000 0.3450 0.3668
408-AH 0.1404 0.7143 0.7857 0.8333 0.9231 0.7331 0.1900 0.1190 0.7827 0.2592 0.6930 0.6187 0.1377 0.6111 0.9231 0.8017 0.0827
409-AH 0.0041 0.0110 0.0263 0.0691 0.3333 0.0623 0.0824 0.0581 0.3293 1.3239 0.0300 0.0162 0.0583 0.0041 0.1481 0.0374 0.0385
410-AH 0.0217 0.4315 0.8333 0.9091 1.0000 0.6570 0.3329 0.4775 0.9783 0.5067 0.4786 0.1853 0.2865 0.0217 1.0000 0.6570 0.3329
411-AH 0.0000 0.0000 0.0039 0.0117 0.0455 0.0090 0.0118 0.0117 0.0455 1.3108 0.0012 0.0000 0.0084 0.0000 0.0179 0.0054 0.0056
412-AH 0.0000 0.0041 0.0285 0.0593 0.1579 0.0385 0.0381 0.0552 0.1579 0.9883 0.0049 0.0000 0.0298 0.0000 0.1014 0.0339 0.0302
413-AH 0.0000 0.0049 0.0267 0.1039 0.3333 0.0662 0.0889 0.0990 0.3333 1.3433 0.0128 0.0001 0.0682 0.0000 0.2500 0.0559 0.0726
414-AH 0.0000 0.0382 0.1860 0.3162 1.0000 0.2385 0.2481 0.2780 1.0000 1.0399 0.0567 0.0001 0.1778 0.0000 0.5714 0.1849 0.1597
415-AH 0.0000 0.0728 0.2101 0.2998 0.4462 0.2018 0.1331 0.2270 0.4462 0.6598 0.0628 0.0001 0.1150 0.0000 0.4462 0.2018 0.1331
416-AH 0.0545 0.2769 0.3043 0.3300 0.4667 0.2838 0.0908 0.0531 0.4121 0.3201 0.2607 0.2221 0.0608 0.2400 0.3750 0.3094 0.0325
417-AH 0.0000 0.0699 0.1453 0.3856 0.6316 0.2143 0.1839 0.3157 0.6316 0.8583 0.1058 0.0003 0.1556 0.0000 0.6316 0.2143 0.1839
418-AH 0.0000 0.0405 0.6250 0.6667 1.0000 0.4632 0.3277 0.6262 1.0000 0.7074 0.0759 0.0001 0.2847 0.0000 1.0000 0.4632 0.3277
419-AH 0.0078 0.1456 0.1667 0.1955 0.3333 0.1596 0.0770 0.0499 0.3256 0.4821 0.1226 0.0578 0.0520 0.0800 0.2500 0.1724 0.0340
420-AH 0.0000 0.1037 0.1951 0.2644 0.3500 0.1834 0.1076 0.1607 0.3500 0.5869 0.0586 0.0001 0.0897 0.0000 0.3500 0.1834 0.1076
421-AH 0.0000 0.0131 0.3846 0.7143 0.8333 0.3789 0.3389 0.7012 0.8333 0.8944 0.0627 0.0001 0.3079 0.0000 0.8333 0.3789 0.3389
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0403 0.3039 0.4545 0.5714 1.0000 0.4296 0.2297 0.2675 0.9597 0.5346 0.3335 0.1973 0.1742 0.0403 0.8000 0.4077 0.2033
424-AH 0.0000 0.0210 0.0909 0.1349 0.2727 0.0846 0.0733 0.1139 0.2727 0.8672 0.0316 0.0001 0.0602 0.0000 0.2727 0.0846 0.0733
425-AH 0.0000 0.0157 0.0645 0.1791 0.3529 0.1065 0.0973 0.1634 0.3529 0.9136 0.0283 0.0001 0.0828 0.0000 0.3529 0.1065 0.0973
426-AH 0.0000 0.0300 0.0691 0.1193 0.2143 0.0771 0.0623 0.0893 0.2143 0.8077 0.0115 0.0000 0.0500 0.0000 0.2143 0.0771 0.0623
427-AH 0.0584 0.1167 0.1429 0.1865 0.3158 0.1545 0.0646 0.0698 0.2574 0.4180 0.1424 0.1310 0.0489 0.0584 0.2500 0.1417 0.0471
428-AH 0.0000 0.0043 0.0107 0.0199 0.0685 0.0147 0.0156 0.0155 0.0685 1.0644 0.0029 0.0000 0.0112 0.0000 0.0396 0.0126 0.0115
429-AH 0.0000 0.0063 0.0634 0.1256 0.5556 0.1015 0.1296 0.1193 0.5556 1.2766 0.0089 0.0000 0.0887 0.0000 0.2706 0.0719 0.0727
430-AH 0.0000 0.0000 0.0000 0.0036 0.2727 0.0122 0.0522 0.0036 0.2727 4.2857 0.0001 0.0000 0.0198 0.0000 0.0077 0.0015 0.0024
431-AH 0.0000 0.0185 0.1231 0.5962 0.8750 0.2870 0.3095 0.5777 0.8750 1.0782 0.0293 0.0001 0.2762 0.0000 0.8750 0.2870 0.3095
432-AH 0.0000 0.0497 0.5000 0.5833 0.7500 0.3849 0.2594 0.5336 0.7500 0.6740 0.1443 0.0003 0.2311 0.0000 0.7500 0.3849 0.2594
433-AH 0.0000 0.0321 0.0914 0.7431 0.9333 0.2999 0.3652 0.7109 0.9333 1.2174 0.0301 0.0001 0.3201 0.0000 0.9333 0.2999 0.3652
434-AH 0.0270 0.5081 0.9000 1.0000 1.0000 0.7488 0.3553 0.4919 0.9730 0.4744 0.5440 0.2105 0.2940 0.0270 1.0000 0.7488 0.3553
435-AH 0.0000 0.0125 0.0473 0.0990 0.2424 0.0623 0.0656 0.0865 0.2424 1.0529 0.0108 0.0001 0.0505 0.0000 0.2222 0.0554 0.0559
436-AH 0.0000 0.0000 0.0140 0.0441 0.1404 0.0275 0.0381 0.0441 0.1404 1.3847 0.0010 0.0000 0.0290 0.0000 0.1053 0.0231 0.0313
437-AH 0.1613 0.5208 0.8750 1.0000 1.0000 0.7416 0.3216 0.4792 0.8387 0.4336 0.6358 0.4964 0.2759 0.1613 1.0000 0.7416 0.3216
438-AH 0.0000 0.1168 0.1651 0.2259 0.2903 0.1555 0.0817 0.1091 0.2903 0.5252 0.0734 0.0001 0.0675 0.0000 0.2903 0.1555 0.0817
439-AH 0.0000 0.0000 0.0000 0.0000 0.0095 0.0009 0.0027 0.0000 0.0095 2.9048 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000
440-AH 0.0545 0.1967 0.2921 0.6859 0.9655 0.4210 0.2955 0.4892 0.9110 0.7019 0.3087 0.2027 0.2538 0.0545 0.9655 0.4210 0.2955
441-AH 0.0000 0.0015 0.1562 0.3958 1.0000 0.2902 0.3579 0.3943 1.0000 1.2333 0.0153 0.0000 0.2868 0.0000 0.8333 0.2015 0.2662
442-AH 0.0000 0.0519 0.2000 0.6000 1.0000 0.3296 0.3282 0.5481 1.0000 0.9957 0.1110 0.0003 0.2817 0.0000 1.0000 0.3296 0.3282
443-AH 0.0000 0.0289 0.0500 0.0902 0.1176 0.0538 0.0364 0.0614 0.1176 0.6758 0.0156 0.0001 0.0292 0.0000 0.1176 0.0538 0.0364
444-AH 0.0118 0.0899 0.1500 0.2358 0.3667 0.1610 0.0988 0.1459 0.3548 0.6135 0.1179 0.0665 0.0825 0.0118 0.3667 0.1610 0.0988
445-AH 0.2143 0.7625 1.0000 1.0000 1.0000 0.8441 0.2746 0.2375 0.7857 0.3253 0.7676 0.6452 0.2079 0.7143 1.0000 0.9499 0.0992
446-AH 0.0000 0.0000 0.0000 0.0322 0.2766 0.0255 0.0536 0.0322 0.2766 2.0994 0.0005 0.0000 0.0277 0.0000 0.0502 0.0159 0.0191
447-AH 0.0862 0.5083 0.5455 0.6044 0.7500 0.5276 0.1597 0.0961 0.6638 0.3027 0.4889 0.4195 0.1063 0.4706 0.7000 0.5694 0.0608
448-AH 0.0000 0.0229 0.1667 0.3529 0.6000 0.2176 0.1918 0.3301 0.6000 0.8816 0.0510 0.0001 0.1679 0.0000 0.6000 0.2176 0.1918
449-AH 0.0000 0.0095 0.0375 0.1168 0.4286 0.0734 0.1036 0.1074 0.4286 1.4109 0.0095 0.0001 0.0778 0.0000 0.2500 0.0597 0.0769
450-AH 0.0000 0.0390 0.0633 0.1461 0.6818 0.1215 0.1416 0.1071 0.6818 1.1657 0.0344 0.0001 0.0917 0.0000 0.2679 0.0900 0.0739
66
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0266 0.0592 0.0964 0.1894 0.5000 0.1492 0.1335 0.1302 0.4734 0.8946 0.1079 0.0810 0.0996 0.0266 0.2759 0.1089 0.0695
402-AH 0.0000 0.0348 0.0795 0.1587 0.5385 0.1377 0.1623 0.1239 0.5385 1.1787 0.0151 0.0000 0.1220 0.0000 0.3373 0.0799 0.0819
403-AH 0.0000 0.0000 0.0088 0.0268 0.1429 0.0229 0.0376 0.0268 0.1429 1.6426 0.0013 0.0000 0.0246 0.0000 0.0597 0.0135 0.0169
404-AH 0.0933 0.2177 0.3976 0.4857 0.5439 0.3526 0.1466 0.2679 0.4506 0.4159 0.3130 0.2646 0.1281 0.0933 0.5439 0.3526 0.1466
405-AH 0.0056 0.4659 0.5000 0.5556 1.0000 0.4900 0.2019 0.0896 0.9944 0.4121 0.3928 0.1094 0.1330 0.3846 0.6667 0.5295 0.0679
406-AH 0.0000 0.0163 0.0651 0.1266 0.1923 0.0727 0.0624 0.1103 0.1923 0.8581 0.0171 0.0001 0.0512 0.0000 0.1923 0.0727 0.0624
407-AH 0.0000 0.0164 0.1000 0.6920 1.0000 0.3450 0.3668 0.6755 1.0000 1.0632 0.0318 0.0001 0.3425 0.0000 1.0000 0.3450 0.3668
408-AH 0.0296 0.6268 0.7500 0.8094 0.9231 0.6460 0.2585 0.1826 0.8934 0.4001 0.5058 0.2285 0.1815 0.5714 0.9231 0.7461 0.0886
409-AH 0.0000 0.0079 0.0202 0.0691 0.1852 0.0463 0.0556 0.0612 0.1852 1.1997 0.0118 0.0001 0.0450 0.0000 0.1538 0.0410 0.0491
410-AH 0.0000 0.2707 0.5217 0.7059 1.0000 0.5000 0.2998 0.4352 1.0000 0.5995 0.2540 0.0003 0.2493 0.0000 1.0000 0.5000 0.2998
411-AH 0.0000 0.0000 0.0039 0.0117 0.0455 0.0090 0.0118 0.0117 0.0455 1.3108 0.0012 0.0000 0.0084 0.0000 0.0179 0.0054 0.0056
412-AH 0.0000 0.0000 0.0264 0.0521 0.0739 0.0272 0.0278 0.0521 0.0739 1.0231 0.0011 0.0000 0.0246 0.0000 0.0739 0.0272 0.0278
413-AH 0.0000 0.0049 0.0267 0.1039 0.3333 0.0662 0.0889 0.0990 0.3333 1.3433 0.0128 0.0001 0.0682 0.0000 0.2500 0.0559 0.0726
414-AH 0.0000 0.0355 0.1370 0.2771 0.8182 0.2102 0.2206 0.2416 0.8182 1.0493 0.0509 0.0001 0.1646 0.0000 0.4348 0.1616 0.1395
415-AH 0.0000 0.0496 0.1803 0.2551 0.3882 0.1697 0.1219 0.2055 0.3882 0.7182 0.0520 0.0001 0.1064 0.0000 0.3882 0.1697 0.1219
416-AH 0.0511 0.2709 0.3043 0.3200 0.4667 0.2717 0.0983 0.0491 0.4156 0.3617 0.2447 0.2037 0.0716 0.2121 0.3684 0.3055 0.0336
417-AH 0.0000 0.0600 0.1142 0.2758 0.5385 0.1742 0.1541 0.2158 0.5385 0.8845 0.0499 0.0001 0.1282 0.0000 0.5385 0.1742 0.1541
418-AH 0.0000 0.0237 0.6000 0.6311 0.8000 0.4087 0.2975 0.6075 0.8000 0.7279 0.0491 0.0001 0.2726 0.0000 0.8000 0.4087 0.2975
419-AH 0.0072 0.0214 0.1250 0.1579 0.2000 0.0987 0.0684 0.1365 0.1928 0.6931 0.0628 0.0316 0.0620 0.0072 0.2000 0.0987 0.0684
420-AH 0.0000 0.0359 0.1509 0.2270 0.3333 0.1323 0.0989 0.1911 0.3333 0.7474 0.0378 0.0001 0.0876 0.0000 0.3333 0.1323 0.0989
421-AH 0.0000 0.0131 0.3846 0.7143 0.8333 0.3789 0.3389 0.7012 0.8333 0.8944 0.0627 0.0001 0.3079 0.0000 0.8333 0.3789 0.3389
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0192 0.1910 0.3333 0.4451 0.5556 0.3090 0.1662 0.2541 0.5364 0.5379 0.2296 0.1187 0.1373 0.0192 0.5556 0.3090 0.1662
424-AH 0.0000 0.0210 0.0909 0.1349 0.2727 0.0846 0.0733 0.1139 0.2727 0.8672 0.0316 0.0001 0.0602 0.0000 0.2727 0.0846 0.0733
425-AH 0.0000 0.0100 0.0437 0.1011 0.1892 0.0610 0.0588 0.0911 0.1892 0.9643 0.0137 0.0001 0.0483 0.0000 0.1892 0.0610 0.0588
426-AH 0.0000 0.0234 0.0569 0.0944 0.2143 0.0656 0.0549 0.0710 0.2143 0.8369 0.0100 0.0000 0.0438 0.0000 0.1800 0.0599 0.0471
427-AH 0.0283 0.1151 0.1333 0.1702 0.3158 0.1412 0.0650 0.0552 0.2875 0.4604 0.1244 0.1028 0.0472 0.0584 0.2400 0.1382 0.0423
428-AH 0.0000 0.0000 0.0062 0.0133 0.0685 0.0092 0.0138 0.0133 0.0685 1.5026 0.0008 0.0000 0.0084 0.0000 0.0245 0.0069 0.0072
429-AH 0.0000 0.0000 0.0336 0.0954 0.5532 0.0745 0.1228 0.0954 0.5532 1.6479 0.0021 0.0000 0.0784 0.0000 0.2031 0.0452 0.0564
430-AH 0.0000 0.0000 0.0000 0.0036 0.2727 0.0122 0.0522 0.0036 0.2727 4.2857 0.0001 0.0000 0.0198 0.0000 0.0077 0.0015 0.0024
431-AH 0.0000 0.0062 0.1231 0.5714 0.8095 0.2626 0.2933 0.5652 0.8095 1.1173 0.0158 0.0000 0.2634 0.0000 0.8095 0.2626 0.2933
432-AH 0.0000 0.0497 0.5000 0.5833 0.7500 0.3849 0.2594 0.5336 0.7500 0.6740 0.1443 0.0003 0.2311 0.0000 0.7500 0.3849 0.2594
433-AH 0.0000 0.0000 0.0729 0.4077 0.9333 0.2307 0.3098 0.4077 0.9333 1.3428 0.0097 0.0000 0.2554 0.0000 0.9333 0.2307 0.3098
434-AH 0.0000 0.1491 0.7692 0.9237 1.0000 0.5798 0.3869 0.7746 1.0000 0.6672 0.1438 0.0001 0.3467 0.0000 1.0000 0.5798 0.3869
435-AH 0.0000 0.0000 0.0000 0.0584 0.2424 0.0388 0.0562 0.0584 0.2424 1.4473 0.0007 0.0000 0.0409 0.0000 0.1207 0.0310 0.0395
436-AH 0.0000 0.0000 0.0000 0.0281 0.1250 0.0203 0.0312 0.0281 0.1250 1.5376 0.0004 0.0000 0.0233 0.0000 0.0575 0.0137 0.0201
437-AH 0.1224 0.5114 0.7500 0.8750 1.0000 0.6545 0.2950 0.3636 0.8776 0.4508 0.5560 0.4256 0.2424 0.1224 1.0000 0.6545 0.2950
438-AH 0.0000 0.0742 0.1288 0.1940 0.2593 0.1333 0.0758 0.1198 0.2593 0.5684 0.0622 0.0001 0.0655 0.0000 0.2593 0.1333 0.0758
439-AH 0.0000 0.0000 0.0000 0.0000 0.0087 0.0003 0.0017 0.0000 0.0087 5.1962 0.0000 0.0000 0.0006 0.0000 0.0000 0.0000 0.0000
440-AH 0.0545 0.1382 0.2381 0.5666 0.9091 0.3587 0.2725 0.4284 0.8545 0.7595 0.2568 0.1746 0.2328 0.0545 0.9091 0.3587 0.2725
441-AH 0.0000 0.0015 0.1562 0.3958 1.0000 0.2902 0.3579 0.3943 1.0000 1.2333 0.0153 0.0000 0.2868 0.0000 0.8333 0.2015 0.2662
442-AH 0.0000 0.0148 0.0625 0.1563 0.8000 0.1267 0.1815 0.1415 0.8000 1.4324 0.0198 0.0001 0.1264 0.0000 0.2857 0.0745 0.0858
443-AH 0.0000 0.0236 0.0474 0.0605 0.1148 0.0472 0.0340 0.0369 0.1148 0.7192 0.0136 0.0001 0.0256 0.0000 0.1148 0.0472 0.0340
444-AH 0.0000 0.0602 0.1500 0.2291 0.3529 0.1500 0.0994 0.1690 0.3529 0.6626 0.0807 0.0003 0.0842 0.0000 0.3529 0.1500 0.0994
445-AH 0.1290 0.5417 1.0000 1.0000 1.0000 0.7630 0.3292 0.4583 0.8710 0.4314 0.6455 0.4817 0.2765 0.1290 1.0000 0.7630 0.3292
446-AH 0.0000 0.0000 0.0000 0.0224 0.2027 0.0192 0.0406 0.0224 0.2027 2.1209 0.0003 0.0000 0.0229 0.0000 0.0502 0.0121 0.0178
447-AH 0.0816 0.5000 0.5385 0.5714 0.7000 0.4963 0.1594 0.0714 0.6184 0.3212 0.4489 0.3606 0.1064 0.4706 0.6667 0.5500 0.0529
448-AH 0.0000 0.0202 0.1489 0.2887 0.5000 0.1788 0.1688 0.2686 0.5000 0.9442 0.0242 0.0001 0.1478 0.0000 0.5000 0.1788 0.1688
449-AH 0.0000 0.0000 0.0216 0.0660 0.2333 0.0416 0.0547 0.0660 0.2333 1.3147 0.0026 0.0000 0.0394 0.0000 0.1273 0.0342 0.0398
450-AH 0.0000 0.0295 0.0605 0.1216 0.2537 0.0879 0.0744 0.0920 0.2537 0.8466 0.0279 0.0001 0.0616 0.0000 0.2537 0.0879 0.0744
67
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0192 0.0460 0.0709 0.1222 0.2727 0.0946 0.0692 0.0762 0.2535 0.7322 0.0752 0.0606 0.0522 0.0192 0.2143 0.0806 0.0496
402-AH 0.0000 0.0000 0.0000 0.0894 0.4103 0.0826 0.1322 0.0894 0.4103 1.6015 0.0009 0.0000 0.0969 0.0000 0.1771 0.0329 0.0510
403-AH 0.0000 0.0000 0.0088 0.0268 0.1429 0.0229 0.0376 0.0268 0.1429 1.6426 0.0013 0.0000 0.0246 0.0000 0.0597 0.0135 0.0169
404-AH 0.0672 0.1972 0.3077 0.3770 0.4235 0.2758 0.1174 0.1798 0.3564 0.4257 0.2433 0.2029 0.1036 0.0672 0.4235 0.2758 0.1174
405-AH 0.0000 0.3132 0.4615 0.5341 0.6667 0.4064 0.1805 0.2209 0.6667 0.4440 0.2503 0.0003 0.1391 0.0000 0.6667 0.4064 0.1805
406-AH 0.0000 0.0147 0.0504 0.0929 0.1170 0.0518 0.0398 0.0783 0.1170 0.7674 0.0107 0.0001 0.0338 0.0000 0.1170 0.0518 0.0398
407-AH 0.0000 0.0131 0.0769 0.5864 1.0000 0.3137 0.3429 0.5732 1.0000 1.0931 0.0290 0.0001 0.3115 0.0000 1.0000 0.3137 0.3429
408-AH 0.0284 0.5652 0.6842 0.8038 0.8667 0.5991 0.2655 0.2386 0.8382 0.4432 0.4520 0.1977 0.2014 0.5200 0.8667 0.7160 0.0946
409-AH 0.0000 0.0079 0.0202 0.0691 0.1852 0.0463 0.0556 0.0612 0.1852 1.1997 0.0118 0.0001 0.0450 0.0000 0.1538 0.0410 0.0491
410-AH 0.0000 0.1538 0.4643 0.6087 0.9333 0.4355 0.3000 0.4549 0.9333 0.6890 0.2024 0.0003 0.2560 0.0000 0.9333 0.4355 0.3000
411-AH 0.0000 0.0000 0.0039 0.0117 0.0455 0.0090 0.0118 0.0117 0.0455 1.3108 0.0012 0.0000 0.0084 0.0000 0.0179 0.0054 0.0056
412-AH 0.0000 0.0000 0.0000 0.0275 0.0544 0.0156 0.0182 0.0275 0.0544 1.1636 0.0005 0.0000 0.0162 0.0000 0.0544 0.0156 0.0182
413-AH 0.0000 0.0049 0.0267 0.1039 0.3333 0.0662 0.0889 0.0990 0.3333 1.3433 0.0128 0.0001 0.0682 0.0000 0.2500 0.0559 0.0726
414-AH 0.0000 0.0314 0.1236 0.2073 0.4348 0.1487 0.1324 0.1759 0.4348 0.8900 0.0409 0.0001 0.1052 0.0000 0.4348 0.1487 0.1324
415-AH 0.0000 0.0000 0.1343 0.2123 0.3040 0.1178 0.1027 0.2123 0.3040 0.8717 0.0063 0.0000 0.0928 0.0000 0.3040 0.1178 0.1027
416-AH 0.0164 0.1532 0.2963 0.3200 0.4211 0.2387 0.1217 0.1668 0.4046 0.5098 0.1748 0.0852 0.1020 0.0164 0.4211 0.2387 0.1217
417-AH 0.0000 0.0505 0.0976 0.2267 0.4571 0.1417 0.1259 0.1762 0.4571 0.8881 0.0317 0.0001 0.1021 0.0000 0.4571 0.1417 0.1259
418-AH 0.0000 0.0164 0.5833 0.6154 0.8000 0.3647 0.2991 0.5990 0.8000 0.8201 0.0405 0.0001 0.2845 0.0000 0.8000 0.3647 0.2991
419-AH 0.0072 0.0214 0.1250 0.1579 0.2000 0.0987 0.0684 0.1365 0.1928 0.6931 0.0628 0.0316 0.0620 0.0072 0.2000 0.0987 0.0684
420-AH 0.0000 0.0202 0.0649 0.1856 0.2439 0.0987 0.0884 0.1654 0.2439 0.8951 0.0203 0.0001 0.0810 0.0000 0.2439 0.0987 0.0884
421-AH 0.0000 0.0000 0.0522 0.1541 0.6667 0.1442 0.2124 0.1541 0.6667 1.4730 0.0050 0.0000 0.1577 0.0000 0.3000 0.0651 0.0890
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0192 0.1910 0.3333 0.4451 0.5556 0.3090 0.1662 0.2541 0.5364 0.5379 0.2296 0.1187 0.1373 0.0192 0.5556 0.3090 0.1662
424-AH 0.0000 0.0013 0.0103 0.0186 0.1290 0.0203 0.0294 0.0173 0.1290 1.4471 0.0026 0.0000 0.0192 0.0000 0.0412 0.0113 0.0112
425-AH 0.0000 0.0100 0.0357 0.0847 0.1860 0.0545 0.0560 0.0747 0.1860 1.0283 0.0077 0.0000 0.0444 0.0000 0.1860 0.0545 0.0560
426-AH 0.0000 0.0000 0.0314 0.0828 0.2143 0.0501 0.0564 0.0828 0.2143 1.1258 0.0025 0.0000 0.0452 0.0000 0.1800 0.0438 0.0467
427-AH 0.0000 0.0799 0.1194 0.1531 0.2500 0.1170 0.0581 0.0733 0.2500 0.4962 0.0754 0.0003 0.0432 0.0000 0.2500 0.1170 0.0581
428-AH 0.0000 0.0000 0.0062 0.0133 0.0685 0.0092 0.0138 0.0133 0.0685 1.5026 0.0008 0.0000 0.0084 0.0000 0.0245 0.0069 0.0072
429-AH 0.0000 0.0000 0.0000 0.0000 0.3704 0.0320 0.0835 0.0000 0.3704 2.6097 0.0001 0.0000 0.0498 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0800 0.0037 0.0155 0.0000 0.0800 4.2382 0.0000 0.0000 0.0065 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0055 0.0892 0.5523 0.7200 0.2314 0.2712 0.5467 0.7200 1.1720 0.0137 0.0000 0.2394 0.0000 0.7200 0.2314 0.2712
432-AH 0.0000 0.0350 0.5000 0.5833 0.7500 0.3761 0.2595 0.5483 0.7500 0.6899 0.1047 0.0001 0.2324 0.0000 0.7500 0.3761 0.2595
433-AH 0.0000 0.0000 0.0329 0.2639 0.6957 0.1663 0.2278 0.2639 0.6957 1.3700 0.0075 0.0000 0.1829 0.0000 0.6538 0.1459 0.2058
434-AH 0.0000 0.1312 0.5238 0.9080 1.0000 0.5105 0.3817 0.7768 1.0000 0.7477 0.0688 0.0001 0.3309 0.0000 1.0000 0.5105 0.3817
435-AH 0.0000 0.0000 0.0000 0.0478 0.2424 0.0294 0.0488 0.0478 0.2424 1.6580 0.0006 0.0000 0.0306 0.0000 0.0635 0.0212 0.0243
436-AH 0.0000 0.0000 0.0000 0.0163 0.1235 0.0132 0.0267 0.0163 0.1235 2.0240 0.0002 0.0000 0.0170 0.0000 0.0270 0.0055 0.0095
437-AH 0.0343 0.4627 0.6364 0.8750 1.0000 0.6182 0.3100 0.4123 0.9657 0.5015 0.4704 0.2380 0.2466 0.0343 1.0000 0.6182 0.3100
438-AH 0.0000 0.0309 0.0704 0.1484 0.2222 0.0900 0.0722 0.1175 0.2222 0.8023 0.0168 0.0001 0.0618 0.0000 0.2222 0.0900 0.0722
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0513 0.1027 0.1485 0.4206 0.8095 0.2805 0.2437 0.3179 0.7582 0.8687 0.1914 0.1340 0.1987 0.0513 0.8095 0.2805 0.2437
441-AH 0.0000 0.0000 0.0496 0.2902 1.0000 0.2406 0.3392 0.2902 1.0000 1.4095 0.0084 0.0000 0.2676 0.0000 0.6000 0.0973 0.1522
442-AH 0.0000 0.0148 0.0625 0.1563 0.8000 0.1267 0.1815 0.1415 0.8000 1.4324 0.0198 0.0001 0.1264 0.0000 0.2857 0.0745 0.0858
443-AH 0.0000 0.0210 0.0290 0.0543 0.1081 0.0390 0.0316 0.0332 0.1081 0.8113 0.0088 0.0001 0.0248 0.0000 0.1013 0.0363 0.0290
444-AH 0.0000 0.0364 0.1037 0.1928 0.2917 0.1185 0.0900 0.1564 0.2917 0.7596 0.0357 0.0001 0.0796 0.0000 0.2917 0.1185 0.0900
445-AH 0.1290 0.5417 1.0000 1.0000 1.0000 0.7630 0.3292 0.4583 0.8710 0.4314 0.6455 0.4817 0.2765 0.1290 1.0000 0.7630 0.3292
446-AH 0.0000 0.0000 0.0000 0.0000 0.0934 0.0066 0.0196 0.0000 0.0934 2.9576 0.0000 0.0000 0.0113 0.0000 0.0000 0.0000 0.0000
447-AH 0.0816 0.4551 0.5000 0.5714 0.6667 0.4754 0.1509 0.1163 0.5850 0.3173 0.4319 0.3514 0.1032 0.4444 0.6667 0.5320 0.0592
448-AH 0.0000 0.0131 0.1481 0.2483 0.4737 0.1581 0.1514 0.2352 0.4737 0.9581 0.0214 0.0001 0.1291 0.0000 0.4737 0.1581 0.1514
449-AH 0.0000 0.0000 0.0216 0.0372 0.1159 0.0261 0.0286 0.0372 0.1159 1.0966 0.0021 0.0000 0.0222 0.0000 0.0792 0.0226 0.0227
450-AH 0.0000 0.0230 0.0549 0.0911 0.2410 0.0656 0.0599 0.0681 0.2410 0.9129 0.0166 0.0001 0.0454 0.0000 0.1852 0.0589 0.0495
68
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0308 0.0427 0.0820 0.1613 0.0555 0.0404 0.0512 0.1613 0.7277 0.0207 0.0001 0.0311 0.0000 0.1351 0.0514 0.0351
402-AH 0.0000 0.0000 0.0000 0.0477 0.2791 0.0430 0.0768 0.0477 0.2791 1.7862 0.0002 0.0000 0.0580 0.0000 0.1135 0.0109 0.0274
403-AH 0.0000 0.0000 0.0054 0.0119 0.0379 0.0080 0.0103 0.0119 0.0379 1.2785 0.0004 0.0000 0.0080 0.0000 0.0282 0.0069 0.0085
404-AH 0.0422 0.1403 0.1905 0.2432 0.3125 0.1844 0.0759 0.1028 0.2703 0.4115 0.1640 0.1368 0.0575 0.0422 0.3125 0.1844 0.0759
405-AH 0.0000 0.0260 0.1273 0.2917 0.5833 0.1765 0.1685 0.2656 0.5833 0.9550 0.0320 0.0001 0.1430 0.0000 0.5833 0.1765 0.1685
406-AH 0.0000 0.0000 0.0256 0.0497 0.0745 0.0292 0.0256 0.0497 0.0745 0.8755 0.0032 0.0000 0.0214 0.0000 0.0745 0.0292 0.0256
407-AH 0.0000 0.0116 0.0761 0.3469 1.0000 0.2034 0.2919 0.3353 1.0000 1.4354 0.0198 0.0001 0.2277 0.0000 0.7778 0.1447 0.2086
408-AH 0.0000 0.1456 0.4412 0.6000 0.7895 0.4000 0.2589 0.4544 0.7895 0.6473 0.0590 0.0001 0.2150 0.0000 0.7895 0.4000 0.2589
409-AH 0.0000 0.0000 0.0074 0.0273 0.1818 0.0276 0.0481 0.0273 0.1818 1.7387 0.0008 0.0000 0.0340 0.0000 0.0652 0.0129 0.0205
410-AH 0.0000 0.0558 0.1744 0.4619 0.8824 0.2844 0.2722 0.4060 0.8824 0.9572 0.0491 0.0001 0.2328 0.0000 0.8824 0.2844 0.2722
411-AH 0.0000 0.0000 0.0039 0.0117 0.0455 0.0090 0.0118 0.0117 0.0455 1.3108 0.0012 0.0000 0.0084 0.0000 0.0179 0.0054 0.0056
412-AH 0.0000 0.0000 0.0000 0.0167 0.0512 0.0080 0.0146 0.0167 0.0512 1.8226 0.0001 0.0000 0.0118 0.0000 0.0354 0.0063 0.0120
413-AH 0.0000 0.0049 0.0267 0.1039 0.3333 0.0662 0.0889 0.0990 0.3333 1.3433 0.0128 0.0001 0.0682 0.0000 0.2500 0.0559 0.0726
414-AH 0.0000 0.0119 0.0991 0.1660 0.2200 0.0894 0.0775 0.1541 0.2200 0.8669 0.0114 0.0000 0.0714 0.0000 0.2200 0.0894 0.0775
415-AH 0.0000 0.0000 0.0000 0.1088 0.1937 0.0570 0.0661 0.1088 0.1937 1.1605 0.0009 0.0000 0.0599 0.0000 0.1937 0.0570 0.0661
416-AH 0.0000 0.0469 0.1250 0.2130 0.3462 0.1361 0.0996 0.1661 0.3462 0.7315 0.0555 0.0001 0.0861 0.0000 0.3462 0.1361 0.0996
417-AH 0.0000 0.0421 0.0688 0.1090 0.3636 0.0819 0.0778 0.0669 0.3636 0.9498 0.0119 0.0000 0.0534 0.0000 0.2011 0.0710 0.0547
418-AH 0.0000 0.0105 0.5333 0.6154 0.8000 0.3544 0.2968 0.6048 0.8000 0.8375 0.0363 0.0001 0.2799 0.0000 0.8000 0.3544 0.2968
419-AH 0.0072 0.0214 0.1250 0.1579 0.2000 0.0987 0.0684 0.1365 0.1928 0.6931 0.0628 0.0316 0.0620 0.0072 0.2000 0.0987 0.0684
420-AH 0.0000 0.0000 0.0146 0.0571 0.2439 0.0436 0.0743 0.0571 0.2439 1.7067 0.0008 0.0000 0.0530 0.0000 0.1176 0.0199 0.0309
421-AH 0.0000 0.0000 0.0106 0.0771 0.3500 0.0618 0.1030 0.0771 0.3500 1.6649 0.0015 0.0000 0.0786 0.0000 0.0946 0.0161 0.0272
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0094 0.0936 0.3000 0.4000 0.5455 0.2660 0.1735 0.3064 0.5360 0.6524 0.1739 0.0692 0.1507 0.0094 0.5455 0.2660 0.1735
424-AH 0.0000 0.0013 0.0103 0.0186 0.1290 0.0203 0.0294 0.0173 0.1290 1.4471 0.0026 0.0000 0.0192 0.0000 0.0412 0.0113 0.0112
425-AH 0.0000 0.0026 0.0326 0.0617 0.1429 0.0413 0.0437 0.0591 0.1429 1.0582 0.0047 0.0000 0.0348 0.0000 0.1429 0.0413 0.0437
426-AH 0.0000 0.0000 0.0000 0.0578 0.0901 0.0265 0.0331 0.0578 0.0901 1.2498 0.0005 0.0000 0.0295 0.0000 0.0901 0.0265 0.0331
427-AH 0.0000 0.0563 0.1039 0.1399 0.1702 0.0924 0.0537 0.0837 0.1702 0.5814 0.0249 0.0001 0.0432 0.0000 0.1702 0.0924 0.0537
428-AH 0.0000 0.0000 0.0000 0.0000 0.0074 0.0003 0.0014 0.0000 0.0074 5.1962 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.1589 0.0133 0.0398 0.0000 0.1589 2.9987 0.0000 0.0000 0.0236 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0800 0.0037 0.0155 0.0000 0.0800 4.2382 0.0000 0.0000 0.0065 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0640 0.3705 0.6286 0.1770 0.2317 0.3705 0.6286 1.3091 0.0046 0.0000 0.1962 0.0000 0.6286 0.1770 0.2317
432-AH 0.0000 0.0299 0.4375 0.5721 0.6364 0.3243 0.2434 0.5422 0.6364 0.7506 0.0431 0.0001 0.2212 0.0000 0.6364 0.3243 0.2434
433-AH 0.0000 0.0000 0.0000 0.1538 0.4390 0.0830 0.1264 0.1538 0.4390 1.5228 0.0005 0.0000 0.1014 0.0000 0.3673 0.0693 0.1065
434-AH 0.0000 0.0048 0.1319 0.8964 1.0000 0.3658 0.4196 0.8917 1.0000 1.1472 0.0186 0.0000 0.3851 0.0000 1.0000 0.3658 0.4196
435-AH 0.0000 0.0000 0.0000 0.0230 0.0837 0.0126 0.0235 0.0230 0.0837 1.8673 0.0001 0.0000 0.0186 0.0000 0.0519 0.0079 0.0165
436-AH 0.0000 0.0000 0.0000 0.0125 0.0873 0.0094 0.0203 0.0125 0.0873 2.1686 0.0001 0.0000 0.0139 0.0000 0.0266 0.0034 0.0078
437-AH 0.0000 0.0702 0.2500 0.5397 0.6667 0.2813 0.2273 0.4695 0.6667 0.8082 0.0922 0.0001 0.1916 0.0000 0.6667 0.2813 0.2273
438-AH 0.0000 0.0000 0.0523 0.0979 0.1451 0.0548 0.0503 0.0979 0.1451 0.9177 0.0029 0.0000 0.0435 0.0000 0.1451 0.0548 0.0503
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0558 0.0850 0.2193 0.8085 0.1891 0.2065 0.1636 0.8085 1.0922 0.0897 0.0003 0.1488 0.0000 0.4000 0.1275 0.1062
441-AH 0.0000 0.0000 0.0263 0.2458 1.0000 0.1723 0.2686 0.2458 1.0000 1.5591 0.0061 0.0000 0.2041 0.0000 0.5833 0.0964 0.1558
442-AH 0.0000 0.0042 0.0382 0.0604 0.4545 0.0822 0.1358 0.0562 0.4545 1.6531 0.0062 0.0000 0.0916 0.0000 0.0694 0.0284 0.0237
443-AH 0.0000 0.0000 0.0254 0.0486 0.0865 0.0291 0.0270 0.0486 0.0865 0.9282 0.0025 0.0000 0.0222 0.0000 0.0865 0.0291 0.0270
444-AH 0.0000 0.0000 0.0492 0.1039 0.1954 0.0660 0.0645 0.1039 0.1954 0.9774 0.0053 0.0000 0.0546 0.0000 0.1954 0.0660 0.0645
445-AH 0.0633 0.2597 0.7143 0.8333 1.0000 0.6151 0.3357 0.5736 0.9367 0.5458 0.4718 0.2974 0.2909 0.0633 1.0000 0.6151 0.3357
446-AH 0.0000 0.0000 0.0000 0.0000 0.0353 0.0013 0.0068 0.0000 0.0353 5.1962 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
447-AH 0.0359 0.3801 0.4500 0.5000 0.5625 0.4078 0.1573 0.1199 0.5266 0.3857 0.3404 0.2177 0.1116 0.3704 0.5625 0.4684 0.0571
448-AH 0.0000 0.0128 0.1059 0.2432 0.4737 0.1417 0.1396 0.2304 0.4737 0.9847 0.0153 0.0000 0.1174 0.0000 0.4737 0.1417 0.1396
449-AH 0.0000 0.0000 0.0131 0.0364 0.1125 0.0228 0.0274 0.0364 0.1125 1.2035 0.0012 0.0000 0.0211 0.0000 0.0638 0.0194 0.0212
450-AH 0.0000 0.0000 0.0335 0.0727 0.1897 0.0423 0.0452 0.0727 0.1897 1.0679 0.0024 0.0000 0.0352 0.0000 0.0982 0.0367 0.0350
69
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0224 0.0332 0.0106 0.0127 0.0224 0.0332 1.1962 0.0003 0.0000 0.0118 0.0000 0.0332 0.0106 0.0127
402-AH 0.0000 0.0000 0.0000 0.0000 0.0980 0.0134 0.0329 0.0000 0.0980 2.4468 0.0000 0.0000 0.0229 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0054 0.0119 0.0379 0.0080 0.0103 0.0119 0.0379 1.2785 0.0004 0.0000 0.0080 0.0000 0.0282 0.0069 0.0085
404-AH 0.0000 0.0460 0.1035 0.1395 0.1811 0.0928 0.0641 0.0935 0.1811 0.6911 0.0139 0.0000 0.0560 0.0000 0.1811 0.0928 0.0641
405-AH 0.0000 0.0260 0.1273 0.2917 0.5833 0.1765 0.1685 0.2656 0.5833 0.9550 0.0320 0.0001 0.1430 0.0000 0.5833 0.1765 0.1685
406-AH 0.0000 0.0000 0.0000 0.0000 0.0203 0.0008 0.0039 0.0000 0.0203 5.1962 0.0000 0.0000 0.0014 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0116 0.0761 0.3469 1.0000 0.2034 0.2919 0.3353 1.0000 1.4354 0.0198 0.0001 0.2277 0.0000 0.7778 0.1447 0.2086
408-AH 0.0000 0.0000 0.1404 0.5161 0.6957 0.2552 0.2656 0.5161 0.6957 1.0407 0.0037 0.0000 0.2470 0.0000 0.6957 0.2552 0.2656
409-AH 0.0000 0.0000 0.0074 0.0273 0.1818 0.0276 0.0481 0.0273 0.1818 1.7387 0.0008 0.0000 0.0340 0.0000 0.0652 0.0129 0.0205
410-AH 0.0000 0.0206 0.0762 0.1505 0.5161 0.1112 0.1250 0.1300 0.5161 1.1240 0.0133 0.0000 0.0885 0.0000 0.3333 0.0957 0.0972
411-AH 0.0000 0.0000 0.0039 0.0117 0.0455 0.0090 0.0118 0.0117 0.0455 1.3108 0.0012 0.0000 0.0084 0.0000 0.0179 0.0054 0.0056
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0049 0.0267 0.1039 0.3333 0.0662 0.0889 0.0990 0.3333 1.3433 0.0128 0.0001 0.0682 0.0000 0.2500 0.0559 0.0726
414-AH 0.0000 0.0000 0.0250 0.0571 0.1277 0.0355 0.0388 0.0571 0.1277 1.0932 0.0020 0.0000 0.0319 0.0000 0.1277 0.0355 0.0388
415-AH 0.0000 0.0000 0.0000 0.0000 0.1022 0.0089 0.0265 0.0000 0.1022 2.9578 0.0000 0.0000 0.0159 0.0000 0.0000 0.0000 0.0000
416-AH 0.0000 0.0469 0.1250 0.2130 0.3462 0.1361 0.0996 0.1661 0.3462 0.7315 0.0555 0.0001 0.0861 0.0000 0.3462 0.1361 0.0996
417-AH 0.0000 0.0000 0.0000 0.0000 0.1389 0.0174 0.0372 0.0000 0.1389 2.1432 0.0001 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0105 0.5333 0.6154 0.8000 0.3544 0.2968 0.6048 0.8000 0.8375 0.0363 0.0001 0.2799 0.0000 0.8000 0.3544 0.2968
419-AH 0.0072 0.0214 0.1250 0.1579 0.2000 0.0987 0.0684 0.1365 0.1928 0.6931 0.0628 0.0316 0.0620 0.0072 0.2000 0.0987 0.0684
420-AH 0.0000 0.0000 0.0000 0.0262 0.2391 0.0317 0.0678 0.0262 0.2391 2.1425 0.0002 0.0000 0.0438 0.0000 0.0598 0.0090 0.0170
421-AH 0.0000 0.0000 0.0106 0.0771 0.3500 0.0618 0.1030 0.0771 0.3500 1.6649 0.0015 0.0000 0.0786 0.0000 0.0946 0.0161 0.0272
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0094 0.0936 0.3000 0.4000 0.5455 0.2660 0.1735 0.3064 0.5360 0.6524 0.1739 0.0692 0.1507 0.0094 0.5455 0.2660 0.1735
424-AH 0.0000 0.0013 0.0103 0.0186 0.1290 0.0203 0.0294 0.0173 0.1290 1.4471 0.0026 0.0000 0.0192 0.0000 0.0412 0.0113 0.0112
425-AH 0.0000 0.0000 0.0000 0.0208 0.0893 0.0136 0.0212 0.0208 0.0893 1.5514 0.0004 0.0000 0.0148 0.0000 0.0306 0.0087 0.0112
426-AH 0.0000 0.0000 0.0000 0.0000 0.0537 0.0081 0.0165 0.0000 0.0537 2.0289 0.0001 0.0000 0.0127 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0563 0.1039 0.1399 0.1702 0.0924 0.0537 0.0837 0.1702 0.5814 0.0249 0.0001 0.0432 0.0000 0.1702 0.0924 0.0537
428-AH 0.0000 0.0000 0.0000 0.0000 0.0074 0.0003 0.0014 0.0000 0.0074 5.1962 0.0000 0.0000 0.0005 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0800 0.0037 0.0155 0.0000 0.0800 4.2382 0.0000 0.0000 0.0065 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0227 0.1933 0.6286 0.1189 0.1814 0.1933 0.6286 1.5264 0.0014 0.0000 0.1447 0.0000 0.3860 0.0837 0.1336
432-AH 0.0000 0.0299 0.4375 0.5721 0.6364 0.3243 0.2434 0.5422 0.6364 0.7506 0.0431 0.0001 0.2212 0.0000 0.6364 0.3243 0.2434
433-AH 0.0000 0.0000 0.0000 0.0556 0.2500 0.0363 0.0690 0.0556 0.2500 1.9002 0.0002 0.0000 0.0485 0.0000 0.0766 0.0142 0.0261
434-AH 0.0000 0.0000 0.0726 0.8306 1.0000 0.3125 0.4083 0.8306 1.0000 1.3064 0.0046 0.0000 0.3692 0.0000 1.0000 0.3125 0.4083
435-AH 0.0000 0.0000 0.0000 0.0000 0.0760 0.0052 0.0165 0.0000 0.0760 3.1991 0.0000 0.0000 0.0092 0.0000 0.0000 0.0000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0090 0.0488 0.0071 0.0137 0.0090 0.0488 1.9392 0.0001 0.0000 0.0105 0.0000 0.0171 0.0020 0.0053
437-AH 0.0000 0.0702 0.2500 0.5397 0.6667 0.2813 0.2273 0.4695 0.6667 0.8082 0.0922 0.0001 0.1916 0.0000 0.6667 0.2813 0.2273
438-AH 0.0000 0.0000 0.0000 0.0000 0.0752 0.0083 0.0213 0.0000 0.0752 2.5715 0.0000 0.0000 0.0141 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0470 0.0814 0.3784 0.0685 0.0975 0.0814 0.3784 1.4218 0.0022 0.0000 0.0654 0.0000 0.1634 0.0383 0.0429
441-AH 0.0000 0.0000 0.0263 0.2458 1.0000 0.1723 0.2686 0.2458 1.0000 1.5591 0.0061 0.0000 0.2041 0.0000 0.5833 0.0964 0.1558
442-AH 0.0000 0.0042 0.0382 0.0604 0.4545 0.0822 0.1358 0.0562 0.4545 1.6531 0.0062 0.0000 0.0916 0.0000 0.0694 0.0284 0.0237
443-AH 0.0000 0.0000 0.0190 0.0359 0.0645 0.0221 0.0214 0.0359 0.0645 0.9695 0.0020 0.0000 0.0177 0.0000 0.0645 0.0221 0.0214
444-AH 0.0000 0.0000 0.0000 0.0450 0.1954 0.0336 0.0546 0.0450 0.1954 1.6258 0.0004 0.0000 0.0415 0.0000 0.0899 0.0178 0.0301
445-AH 0.0633 0.2597 0.7143 0.8333 1.0000 0.6151 0.3357 0.5736 0.9367 0.5458 0.4718 0.2974 0.2909 0.0633 1.0000 0.6151 0.3357
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.3253 0.3704 0.3846 0.5000 0.3027 0.1470 0.0593 0.5000 0.4856 0.1311 0.0001 0.1158 0.3226 0.4348 0.3710 0.0280
448-AH 0.0000 0.0000 0.0000 0.0000 0.1923 0.0147 0.0398 0.0000 0.1923 2.7136 0.0001 0.0000 0.0228 0.0000 0.0000 0.0000 0.0000
449-AH 0.0000 0.0000 0.0000 0.0157 0.0505 0.0092 0.0123 0.0157 0.0505 1.3440 0.0004 0.0000 0.0095 0.0000 0.0346 0.0076 0.0093
450-AH 0.0000 0.0000 0.0000 0.0262 0.0462 0.0108 0.0160 0.0262 0.0462 1.4852 0.0001 0.0000 0.0144 0.0000 0.0462 0.0108 0.0160
70
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.4000 0.4000 0.4000 0.6000 0.3556 0.1396 0.0000 0.6000 0.3926 0.1697 0.0001 0.0988 0.4000 0.4000 0.4000 0.0000
402-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8074 0.2183 0.2000 1.0000 0.2703 0.5423 0.0003 0.1427 0.6000 1.0000 0.8385 0.1499
403-AH 0.0000 0.0000 0.0000 0.1500 0.4000 0.0741 0.1375 0.1500 0.4000 1.8568 0.0001 0.0000 0.1097 0.0000 0.2000 0.0333 0.0761
404-AH 0.0000 0.4500 0.8000 0.8000 1.0000 0.6370 0.3140 0.3500 1.0000 0.4929 0.1938 0.0001 0.2524 0.0000 1.0000 0.6370 0.3140
405-AH 0.0000 0.6000 0.6000 0.6000 1.0000 0.5926 0.1708 0.0000 1.0000 0.2882 0.4015 0.0003 0.0867 0.6000 0.6000 0.6000 0.0000
406-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2148 0.1834 0.4000 0.6000 0.8535 0.0097 0.0000 0.1520 0.0000 0.6000 0.2148 0.1834
407-AH 0.0000 0.0000 0.2000 0.6000 1.0000 0.3630 0.3553 0.6000 1.0000 0.9790 0.0091 0.0000 0.3171 0.0000 1.0000 0.3630 0.3553
408-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.8963 0.1285 0.2000 0.4000 0.1434 0.8865 0.8757 0.1152 0.6000 1.0000 0.8963 0.1285
409-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0593 0.0931 0.2000 0.2000 1.5705 0.0002 0.0000 0.0834 0.0000 0.2000 0.0593 0.0931
410-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9037 0.2028 0.0000 0.6000 0.2244 0.8717 0.8265 0.1498 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0074 0.0385 0.0000 0.2000 5.1962 0.0000 0.0000 0.0143 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.1926 0.2319 0.4000 0.8000 1.2042 0.0022 0.0000 0.1855 0.0000 0.8000 0.1926 0.2319
413-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1111 0.1013 0.2000 0.2000 0.9115 0.0025 0.0000 0.0988 0.0000 0.2000 0.1111 0.1013
414-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.4667 0.3088 0.4000 1.0000 0.6618 0.0696 0.0001 0.2568 0.0000 1.0000 0.4667 0.3088
415-AH 0.2000 0.4000 0.4000 0.6000 0.8000 0.4519 0.1626 0.2000 0.6000 0.3599 0.4221 0.3904 0.1284 0.2000 0.8000 0.4519 0.1626
416-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.1926 0.1708 0.4000 0.4000 0.8869 0.0064 0.0000 0.1427 0.0000 0.4000 0.1926 0.1708
417-AH 0.0000 0.6000 1.0000 1.0000 1.0000 0.7778 0.3105 0.4000 1.0000 0.3992 0.4876 0.0003 0.2535 0.2000 1.0000 0.8077 0.2741
418-AH 0.0000 0.4500 0.6000 0.6000 1.0000 0.5630 0.2151 0.1500 1.0000 0.3821 0.3677 0.0003 0.1438 0.4000 0.8000 0.5818 0.1053
419-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1556 0.0847 0.0000 0.2000 0.5447 0.0221 0.0000 0.0691 0.2000 0.2000 0.2000 0.0000
420-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.3407 0.2062 0.2000 0.6000 0.6051 0.0555 0.0001 0.1679 0.0000 0.6000 0.3407 0.2062
421-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5630 0.2884 0.4000 0.8000 0.5123 0.1717 0.0001 0.2420 0.0000 0.8000 0.5630 0.2884
422-AH 0.0000 0.0500 0.2000 0.2000 0.8000 0.1852 0.1657 0.1500 0.8000 0.8949 0.0170 0.0000 0.0960 0.0000 0.4000 0.1615 0.1134
423-AH 0.2000 0.4500 0.6000 0.6000 0.8000 0.5407 0.1551 0.1500 0.6000 0.2868 0.5109 0.4696 0.1174 0.4000 0.8000 0.5833 0.1007
424-AH 0.0000 0.0000 0.0000 0.2000 0.4000 0.1185 0.1388 0.2000 0.4000 1.1709 0.0013 0.0000 0.1229 0.0000 0.4000 0.1185 0.1388
425-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2370 0.2003 0.4000 0.6000 0.8450 0.0144 0.0000 0.1652 0.0000 0.6000 0.2370 0.2003
426-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1259 0.1259 0.2000 0.4000 0.9995 0.0026 0.0000 0.1119 0.0000 0.4000 0.1259 0.1259
427-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1926 0.0385 0.0000 0.2000 0.1999 0.1386 0.0003 0.0143 0.2000 0.2000 0.2000 0.0000
428-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0222 0.0641 0.0000 0.2000 2.8823 0.0000 0.0000 0.0395 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.2500 0.4000 0.6000 1.0000 0.4222 0.2501 0.3500 1.0000 0.5924 0.0936 0.0001 0.1893 0.0000 1.0000 0.4222 0.2501
430-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0222 0.0641 0.0000 0.2000 2.8823 0.0000 0.0000 0.0395 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.6000 0.8000 1.0000 0.4593 0.4144 0.8000 1.0000 0.9024 0.0152 0.0000 0.3830 0.0000 1.0000 0.4593 0.4144
432-AH 0.0000 0.0500 0.4000 0.6000 0.6000 0.3259 0.2427 0.5500 0.6000 0.7447 0.0258 0.0000 0.2156 0.0000 0.6000 0.3259 0.2427
433-AH 0.0000 0.4500 0.8000 1.0000 1.0000 0.7037 0.3204 0.5500 1.0000 0.4554 0.4286 0.0003 0.2694 0.0000 1.0000 0.7037 0.3204
434-AH 0.0000 0.6500 1.0000 1.0000 1.0000 0.7852 0.3549 0.3500 1.0000 0.4519 0.3325 0.0001 0.2886 0.2000 1.0000 0.8480 0.2845
435-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.2148 0.1231 0.0000 0.4000 0.5731 0.0538 0.0001 0.0823 0.2000 0.2000 0.2000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0296 0.0724 0.0000 0.2000 2.4436 0.0000 0.0000 0.0505 0.0000 0.0000 0.0000 0.0000
437-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.8000 0.2481 0.4000 0.8000 0.3101 0.7428 0.6532 0.1926 0.2000 1.0000 0.8000 0.2481
438-AH 0.0000 0.2000 0.2000 0.3500 0.4000 0.2222 0.1281 0.1500 0.4000 0.5765 0.0552 0.0001 0.0922 0.0000 0.4000 0.2222 0.1281
439-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0148 0.0534 0.0000 0.2000 3.6029 0.0000 0.0000 0.0274 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5037 0.3481 0.6000 1.0000 0.6910 0.0516 0.0000 0.2919 0.0000 1.0000 0.5037 0.3481
441-AH 0.0000 0.0000 0.4000 0.6000 1.0000 0.3481 0.3620 0.6000 1.0000 1.0398 0.0062 0.0000 0.3056 0.0000 1.0000 0.3481 0.3620
442-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3778 0.2100 0.4000 0.8000 0.5559 0.1204 0.0001 0.1630 0.0000 0.8000 0.3778 0.2100
443-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.1111 0.1601 0.2000 0.6000 1.4412 0.0006 0.0000 0.1317 0.0000 0.4000 0.0923 0.1294
444-AH 0.0000 0.2000 0.4000 0.4000 0.6000 0.2963 0.1951 0.2000 0.6000 0.6585 0.0486 0.0001 0.1668 0.0000 0.6000 0.2963 0.1951
445-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7481 0.1968 0.2000 0.6000 0.2631 0.7193 0.6864 0.1580 0.4000 1.0000 0.7481 0.1968
446-AH 0.0000 0.0000 0.0000 0.1500 0.4000 0.0593 0.1083 0.1500 0.4000 1.8283 0.0001 0.0000 0.0878 0.0000 0.2000 0.0462 0.0859
447-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.5111 0.1695 0.2000 0.6000 0.3316 0.4790 0.4408 0.1432 0.2000 0.8000 0.5111 0.1695
448-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.4222 0.2501 0.2000 0.8000 0.5924 0.0473 0.0000 0.1992 0.4000 0.8000 0.5429 0.1121
449-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2000 0.2148 0.4000 0.6000 1.0742 0.0023 0.0000 0.1926 0.0000 0.6000 0.2000 0.2148
450-AH 0.2000 0.2000 0.2000 0.6000 1.0000 0.3778 0.2375 0.4000 0.8000 0.6287 0.3195 0.2788 0.1975 0.2000 1.0000 0.3778 0.2375
71
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.2000 0.3000 0.3000 0.5000 0.2889 0.1121 0.1000 0.4000 0.3880 0.2652 0.2379 0.0815 0.1000 0.4000 0.2625 0.0875
402-AH 0.0000 0.6000 0.7000 0.8000 0.9000 0.6556 0.1783 0.2000 0.9000 0.2720 0.4439 0.0003 0.1276 0.5000 0.9000 0.6808 0.1234
403-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0519 0.0802 0.1000 0.3000 1.5475 0.0003 0.0000 0.0653 0.0000 0.2000 0.0423 0.0643
404-AH 0.0000 0.5250 0.7000 0.8000 0.9000 0.6037 0.2504 0.2750 0.9000 0.4147 0.3731 0.0003 0.1888 0.3000 0.9000 0.6708 0.1681
405-AH 0.0000 0.4250 0.5000 0.5000 0.6000 0.4630 0.1334 0.0750 0.6000 0.2882 0.3145 0.0003 0.0919 0.4000 0.6000 0.5087 0.0596
406-AH 0.0000 0.0250 0.2000 0.3000 0.5000 0.2074 0.1685 0.2750 0.5000 0.8126 0.0180 0.0000 0.1353 0.0000 0.5000 0.2074 0.1685
407-AH 0.0000 0.0000 0.3000 0.5750 0.7000 0.3000 0.2774 0.5750 0.7000 0.9245 0.0082 0.0000 0.2519 0.0000 0.7000 0.3000 0.2774
408-AH 0.6000 0.7000 0.8000 0.9000 0.9000 0.8037 0.0940 0.2000 0.3000 0.1169 0.7982 0.7925 0.0785 0.6000 0.9000 0.8037 0.0940
409-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0667 0.0784 0.1000 0.3000 1.1767 0.0013 0.0000 0.0642 0.0000 0.2000 0.0577 0.0643
410-AH 0.4000 0.8000 0.8000 0.9000 1.0000 0.8037 0.1765 0.1000 0.6000 0.2196 0.7797 0.7489 0.1226 0.7000 1.0000 0.8652 0.0935
411-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0037 0.0192 0.0000 0.1000 5.1962 0.0000 0.0000 0.0071 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.1000 0.2750 0.6000 0.1370 0.1597 0.2750 0.6000 1.1653 0.0047 0.0000 0.1262 0.0000 0.6000 0.1370 0.1597
413-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.0889 0.0577 0.0000 0.2000 0.6495 0.0139 0.0000 0.0395 0.1000 0.1000 0.1000 0.0000
414-AH 0.0000 0.2250 0.4000 0.5000 0.8000 0.3593 0.2153 0.2750 0.8000 0.5993 0.1120 0.0001 0.1682 0.0000 0.8000 0.3593 0.2153
415-AH 0.2000 0.3000 0.4000 0.5000 0.8000 0.4148 0.1512 0.2000 0.6000 0.3644 0.3885 0.3624 0.1097 0.2000 0.7000 0.4000 0.1327
416-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.2185 0.1331 0.2000 0.5000 0.6092 0.1339 0.0003 0.1122 0.0000 0.5000 0.2185 0.1331
417-AH 0.0000 0.5000 0.8000 0.9000 1.0000 0.6741 0.2795 0.4000 1.0000 0.4147 0.4221 0.0003 0.2326 0.0000 1.0000 0.6741 0.2795
418-AH 0.0000 0.3250 0.5000 0.6000 0.8000 0.4778 0.1761 0.2750 0.8000 0.3687 0.3149 0.0003 0.1407 0.0000 0.8000 0.4778 0.1761
419-AH 0.0000 0.1000 0.1000 0.1000 0.2000 0.1148 0.0534 0.0000 0.2000 0.4649 0.0590 0.0001 0.0379 0.1000 0.1000 0.1000 0.0000
420-AH 0.0000 0.3000 0.3000 0.4000 0.6000 0.3148 0.1512 0.1000 0.6000 0.4802 0.1056 0.0001 0.1064 0.2000 0.5000 0.3545 0.0800
421-AH 0.0000 0.3000 0.4000 0.5000 0.6000 0.3556 0.1888 0.2000 0.6000 0.5310 0.1134 0.0001 0.1572 0.1000 0.6000 0.4000 0.1474
422-AH 0.0000 0.0250 0.1000 0.1750 0.4000 0.1296 0.1295 0.1500 0.4000 0.9993 0.0122 0.0000 0.0957 0.0000 0.2000 0.0826 0.0650
423-AH 0.2000 0.3000 0.4000 0.4000 0.5000 0.3556 0.0934 0.1000 0.3000 0.2626 0.3419 0.3266 0.0782 0.2000 0.5000 0.3556 0.0934
424-AH 0.0000 0.0000 0.1000 0.1000 0.2000 0.0852 0.0770 0.1000 0.2000 0.9037 0.0038 0.0000 0.0631 0.0000 0.2000 0.0852 0.0770
425-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1852 0.1262 0.2000 0.4000 0.6815 0.0325 0.0001 0.1064 0.0000 0.4000 0.1852 0.1262
426-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1407 0.0797 0.1000 0.2000 0.5663 0.0274 0.0001 0.0702 0.0000 0.2000 0.1407 0.0797
427-AH 0.1000 0.1000 0.1000 0.2000 0.2000 0.1370 0.0492 0.1000 0.1000 0.3591 0.1293 0.1227 0.0466 0.1000 0.2000 0.1370 0.0492
428-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0296 0.0465 0.1000 0.1000 1.5705 0.0002 0.0000 0.0417 0.0000 0.1000 0.0296 0.0465
429-AH 0.0000 0.3000 0.4000 0.5000 0.8000 0.4074 0.2218 0.2000 0.8000 0.5443 0.2439 0.0003 0.1649 0.1000 0.7000 0.3739 0.1685
430-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0185 0.0483 0.0000 0.2000 2.6100 0.0000 0.0000 0.0316 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.3000 0.7000 0.9000 0.3815 0.3680 0.7000 0.9000 0.9646 0.0127 0.0000 0.3364 0.0000 0.9000 0.3815 0.3680
432-AH 0.0000 0.1250 0.4000 0.5000 0.6000 0.3519 0.2260 0.3750 0.6000 0.6422 0.0396 0.0000 0.1940 0.0000 0.6000 0.3519 0.2260
433-AH 0.0000 0.3250 0.5000 0.8000 1.0000 0.5556 0.2708 0.4750 1.0000 0.4874 0.3460 0.0003 0.2247 0.0000 1.0000 0.5556 0.2708
434-AH 0.0000 0.4750 0.9000 0.9000 1.0000 0.7111 0.3367 0.4250 1.0000 0.4734 0.2948 0.0001 0.2733 0.0000 1.0000 0.7111 0.3367
435-AH 0.0000 0.1000 0.2000 0.2000 0.6000 0.1815 0.1210 0.1000 0.6000 0.6668 0.1138 0.0003 0.0859 0.0000 0.3000 0.1560 0.0768
436-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0259 0.0656 0.0000 0.3000 2.5299 0.0001 0.0000 0.0422 0.0000 0.0000 0.0000 0.0000
437-AH 0.3000 0.4250 0.6000 0.7000 0.7000 0.5852 0.1350 0.2750 0.4000 0.2308 0.5679 0.5484 0.1160 0.3000 0.7000 0.5852 0.1350
438-AH 0.0000 0.1000 0.2000 0.3000 0.5000 0.2111 0.1368 0.2000 0.5000 0.6481 0.0683 0.0001 0.1160 0.0000 0.5000 0.2111 0.1368
439-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0148 0.0456 0.0000 0.2000 3.0783 0.0000 0.0000 0.0263 0.0000 0.0000 0.0000 0.0000
440-AH 0.1000 0.2250 0.6000 0.7750 1.0000 0.5407 0.3067 0.5500 0.9000 0.5671 0.4227 0.2926 0.2510 0.1000 1.0000 0.5407 0.3067
441-AH 0.0000 0.0000 0.3000 0.4000 0.7000 0.2704 0.2493 0.4000 0.7000 0.9222 0.0079 0.0000 0.2107 0.0000 0.7000 0.2704 0.2493
442-AH 0.0000 0.2000 0.2000 0.3000 0.4000 0.2185 0.1039 0.1000 0.4000 0.4755 0.1044 0.0001 0.0812 0.1000 0.4000 0.2360 0.0860
443-AH 0.0000 0.0000 0.1000 0.1000 0.3000 0.0778 0.0892 0.1000 0.3000 1.1463 0.0019 0.0000 0.0691 0.0000 0.2000 0.0600 0.0645
444-AH 0.0000 0.2000 0.3000 0.3000 0.5000 0.2630 0.1079 0.1000 0.5000 0.4105 0.1743 0.0003 0.0837 0.1000 0.4000 0.2640 0.0860
445-AH 0.2000 0.4000 0.5000 0.5000 0.5000 0.4333 0.1074 0.1000 0.3000 0.2479 0.4162 0.3942 0.0889 0.3000 0.5000 0.4625 0.0711
446-AH 0.0000 0.0000 0.0000 0.1000 0.3000 0.0593 0.0844 0.1000 0.3000 1.4242 0.0005 0.0000 0.0702 0.0000 0.2000 0.0500 0.0707
447-AH 0.3000 0.5000 0.5000 0.5750 0.7000 0.4963 0.0980 0.0750 0.4000 0.1974 0.4859 0.4743 0.0650 0.4000 0.6000 0.5130 0.0626
448-AH 0.0000 0.3000 0.3000 0.4000 0.6000 0.2963 0.1743 0.1000 0.6000 0.5882 0.0498 0.0001 0.1243 0.3000 0.5000 0.3650 0.0813
449-AH 0.0000 0.0000 0.2000 0.2750 0.5000 0.1556 0.1450 0.2750 0.5000 0.9322 0.0055 0.0000 0.1235 0.0000 0.5000 0.1556 0.1450
450-AH 0.1000 0.1250 0.2000 0.4750 0.9000 0.2889 0.2100 0.3500 0.8000 0.7269 0.2302 0.1889 0.1704 0.1000 0.9000 0.2889 0.2100
72
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.2000 0.2667 0.3333 0.4667 0.2593 0.1051 0.1333 0.4000 0.4055 0.2345 0.2037 0.0785 0.0667 0.4667 0.2593 0.1051
402-AH 0.0000 0.5333 0.5333 0.6000 0.7333 0.5432 0.1392 0.0667 0.7333 0.2563 0.3718 0.0003 0.0858 0.4667 0.6667 0.5636 0.0642
403-AH 0.0000 0.0000 0.0000 0.0667 0.2000 0.0469 0.0608 0.0667 0.2000 1.2961 0.0008 0.0000 0.0487 0.0000 0.1333 0.0347 0.0435
404-AH 0.0000 0.5333 0.6667 0.7833 0.8000 0.5926 0.2363 0.2500 0.8000 0.3988 0.3618 0.0003 0.1778 0.3333 0.8000 0.6611 0.1375
405-AH 0.0000 0.3333 0.4000 0.4000 0.4667 0.3506 0.1039 0.0667 0.4667 0.2964 0.2393 0.0003 0.0721 0.3333 0.4667 0.3884 0.0384
406-AH 0.0000 0.0833 0.1333 0.2667 0.4000 0.1704 0.1160 0.1833 0.4000 0.6806 0.0304 0.0001 0.0977 0.0000 0.4000 0.1704 0.1160
407-AH 0.0000 0.0000 0.2000 0.4000 0.4667 0.2148 0.1986 0.4000 0.4667 0.9244 0.0066 0.0000 0.1844 0.0000 0.4667 0.2148 0.1986
408-AH 0.6000 0.6667 0.7333 0.8000 0.8667 0.7160 0.0797 0.1333 0.2667 0.1113 0.7117 0.7072 0.0662 0.6000 0.8667 0.7160 0.0797
409-AH 0.0000 0.0667 0.0667 0.0667 0.2667 0.0765 0.0659 0.0000 0.2667 0.8610 0.0116 0.0000 0.0450 0.0667 0.0667 0.0667 0.0000
410-AH 0.2667 0.6000 0.7333 0.7333 0.9333 0.6593 0.1636 0.1333 0.6667 0.2482 0.6347 0.6034 0.1273 0.5333 0.8667 0.6928 0.1020
411-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0025 0.0128 0.0000 0.0667 5.1962 0.0000 0.0000 0.0048 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0667 0.1333 0.2000 0.4667 0.1432 0.1135 0.1333 0.4667 0.7928 0.0458 0.0001 0.0914 0.0000 0.3333 0.1308 0.0952
413-AH 0.0000 0.0667 0.0667 0.0667 0.1333 0.0642 0.0433 0.0000 0.1333 0.6743 0.0107 0.0000 0.0285 0.0667 0.0667 0.0667 0.0000
414-AH 0.0000 0.1500 0.2667 0.4000 0.6000 0.2741 0.1718 0.2500 0.6000 0.6268 0.0874 0.0001 0.1333 0.0000 0.6000 0.2741 0.1718
415-AH 0.1333 0.3333 0.4667 0.5333 0.6667 0.4148 0.1436 0.2000 0.5333 0.3462 0.3824 0.3393 0.1130 0.1333 0.6667 0.4148 0.1436
416-AH 0.0667 0.1333 0.2667 0.3167 0.4667 0.2321 0.0967 0.1833 0.4000 0.4168 0.2098 0.1844 0.0803 0.0667 0.4667 0.2321 0.0967
417-AH 0.0000 0.4167 0.6667 0.7333 0.8667 0.5827 0.2387 0.3167 0.8667 0.4096 0.3669 0.0003 0.1946 0.0000 0.8667 0.5827 0.2387
418-AH 0.1333 0.2167 0.5333 0.5333 0.5333 0.4049 0.1524 0.3167 0.4000 0.3763 0.3705 0.3317 0.1377 0.1333 0.5333 0.4049 0.1524
419-AH 0.0000 0.0667 0.1333 0.1333 0.2000 0.1111 0.0453 0.0667 0.2000 0.4076 0.0574 0.0001 0.0362 0.0000 0.2000 0.1111 0.0453
420-AH 0.0000 0.2667 0.3333 0.3833 0.4000 0.2840 0.1221 0.1167 0.4000 0.4299 0.0984 0.0001 0.0894 0.1333 0.4000 0.3194 0.0708
421-AH 0.0000 0.2000 0.3333 0.3333 0.4000 0.2642 0.1117 0.1333 0.4000 0.4227 0.1714 0.0003 0.0920 0.0000 0.4000 0.2642 0.1117
422-AH 0.0000 0.0667 0.0667 0.1167 0.4000 0.0988 0.0985 0.0500 0.4000 0.9972 0.0178 0.0001 0.0722 0.0000 0.1333 0.0576 0.0373
423-AH 0.1333 0.2167 0.2667 0.4000 0.4000 0.2963 0.0931 0.1833 0.2667 0.3141 0.2799 0.2615 0.0801 0.1333 0.4000 0.2963 0.0931
424-AH 0.0000 0.0167 0.0667 0.1333 0.2000 0.0815 0.0649 0.1167 0.2000 0.7969 0.0092 0.0000 0.0532 0.0000 0.2000 0.0815 0.0649
425-AH 0.0000 0.0667 0.2000 0.2667 0.3333 0.1630 0.1051 0.2000 0.3333 0.6452 0.0296 0.0001 0.0905 0.0000 0.3333 0.1630 0.1051
426-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1383 0.0904 0.1333 0.3333 0.6541 0.0351 0.0001 0.0704 0.0000 0.3333 0.1383 0.0904
427-AH 0.0667 0.1333 0.1333 0.2000 0.2667 0.1506 0.0656 0.0667 0.2000 0.4356 0.1365 0.1227 0.0527 0.0667 0.2667 0.1506 0.0656
428-AH 0.0000 0.0000 0.0000 0.0667 0.1333 0.0296 0.0385 0.0667 0.1333 1.2990 0.0004 0.0000 0.0351 0.0000 0.1333 0.0296 0.0385
429-AH 0.0000 0.2667 0.3333 0.4500 0.6667 0.3407 0.1748 0.1833 0.6667 0.5129 0.2032 0.0003 0.1311 0.0000 0.6667 0.3407 0.1748
430-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0148 0.0427 0.0000 0.2000 2.8823 0.0000 0.0000 0.0252 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0667 0.2667 0.7333 0.8667 0.3679 0.3381 0.6667 0.8667 0.9190 0.0327 0.0000 0.3124 0.0000 0.8667 0.3679 0.3381
432-AH 0.0000 0.1500 0.4000 0.4667 0.4667 0.3210 0.1803 0.3167 0.4667 0.5616 0.0982 0.0001 0.1588 0.0000 0.4667 0.3210 0.1803
433-AH 0.0000 0.2833 0.4000 0.7333 0.9333 0.4593 0.2584 0.4500 0.9333 0.5627 0.2779 0.0003 0.2189 0.0000 0.9333 0.4593 0.2584
434-AH 0.0667 0.4333 0.6667 0.8500 0.8667 0.6000 0.2453 0.4167 0.8000 0.4088 0.5205 0.3916 0.1926 0.0667 0.8667 0.6000 0.2453
435-AH 0.0667 0.0667 0.1333 0.2000 0.4000 0.1580 0.0909 0.1333 0.3333 0.5750 0.1339 0.1134 0.0750 0.0667 0.3333 0.1487 0.0784
436-AH 0.0000 0.0000 0.0000 0.0500 0.2667 0.0346 0.0701 0.0500 0.2667 2.0277 0.0001 0.0000 0.0512 0.0000 0.0667 0.0087 0.0230
437-AH 0.2667 0.4167 0.4667 0.5167 0.5333 0.4370 0.0984 0.1000 0.2667 0.2252 0.4242 0.4092 0.0785 0.2667 0.5333 0.4370 0.0984
438-AH 0.0000 0.2000 0.2000 0.3333 0.6000 0.2444 0.1359 0.1333 0.6000 0.5558 0.1115 0.0001 0.1086 0.0000 0.4000 0.2308 0.1181
439-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0173 0.0437 0.0000 0.2000 2.5299 0.0001 0.0000 0.0282 0.0000 0.0000 0.0000 0.0000
440-AH 0.0667 0.2833 0.6000 0.7833 1.0000 0.5407 0.3079 0.5000 0.9333 0.5694 0.4081 0.2494 0.2584 0.0667 1.0000 0.5407 0.3079
441-AH 0.0000 0.0000 0.2000 0.3333 0.4667 0.2000 0.1783 0.3333 0.4667 0.8916 0.0066 0.0000 0.1531 0.0000 0.4667 0.2000 0.1783
442-AH 0.0000 0.1333 0.1333 0.2000 0.3333 0.1704 0.0874 0.0667 0.3333 0.5129 0.0824 0.0001 0.0680 0.0667 0.2667 0.1636 0.0534
443-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0765 0.0709 0.1333 0.2000 0.9263 0.0047 0.0000 0.0576 0.0000 0.2000 0.0765 0.0709
444-AH 0.0000 0.2000 0.2000 0.2667 0.4000 0.2222 0.0806 0.0667 0.4000 0.3627 0.1527 0.0003 0.0609 0.1333 0.3333 0.2240 0.0605
445-AH 0.2000 0.2833 0.3333 0.3333 0.3333 0.3062 0.0498 0.0500 0.1333 0.1627 0.3015 0.2959 0.0402 0.2667 0.3333 0.3246 0.0230
446-AH 0.0000 0.0000 0.0667 0.1333 0.3333 0.0691 0.0857 0.1333 0.3333 1.2396 0.0013 0.0000 0.0675 0.0000 0.3333 0.0691 0.0857
447-AH 0.2667 0.4667 0.4667 0.5333 0.5333 0.4667 0.0762 0.0667 0.2667 0.1634 0.4597 0.4515 0.0543 0.4000 0.5333 0.4928 0.0438
448-AH 0.0000 0.2000 0.2000 0.3333 0.4667 0.2444 0.1396 0.1333 0.4667 0.5711 0.1079 0.0001 0.1185 0.0000 0.4667 0.2444 0.1396
449-AH 0.0000 0.0000 0.1333 0.2500 0.4000 0.1358 0.1247 0.2500 0.4000 0.9182 0.0069 0.0000 0.1019 0.0000 0.4000 0.1358 0.1247
450-AH 0.0667 0.1333 0.1333 0.3333 0.8000 0.2222 0.1754 0.2000 0.7333 0.7894 0.1730 0.1400 0.1383 0.0667 0.5333 0.2000 0.1347
73
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.1625 0.2000 0.2500 0.4000 0.2296 0.0823 0.0875 0.3000 0.3586 0.2156 0.2017 0.0641 0.1000 0.3000 0.2083 0.0584
402-AH 0.0500 0.4500 0.5000 0.5500 0.7000 0.4722 0.1212 0.1000 0.6500 0.2566 0.4416 0.3592 0.0827 0.3000 0.7000 0.4885 0.0887
403-AH 0.0000 0.0000 0.0500 0.0500 0.1500 0.0407 0.0481 0.0500 0.1500 1.1809 0.0013 0.0000 0.0362 0.0000 0.1000 0.0271 0.0294
404-AH 0.0000 0.5000 0.6000 0.7000 0.8000 0.5648 0.2222 0.2000 0.8000 0.3935 0.3417 0.0003 0.1639 0.4000 0.8000 0.6313 0.1196
405-AH 0.0000 0.3000 0.3000 0.3000 0.3500 0.2778 0.0789 0.0000 0.3500 0.2839 0.1925 0.0003 0.0531 0.3000 0.3000 0.3000 0.0000
406-AH 0.0000 0.1000 0.1500 0.2375 0.3000 0.1519 0.0975 0.1375 0.3000 0.6424 0.0284 0.0001 0.0798 0.0000 0.3000 0.1519 0.0975
407-AH 0.0000 0.0000 0.1500 0.3375 0.3500 0.1667 0.1550 0.3375 0.3500 0.9303 0.0056 0.0000 0.1444 0.0000 0.3500 0.1667 0.1550
408-AH 0.4500 0.6000 0.6500 0.6500 0.7500 0.6222 0.0836 0.0500 0.3000 0.1343 0.6161 0.6093 0.0630 0.5500 0.7000 0.6477 0.0393
409-AH 0.0000 0.0500 0.0500 0.1000 0.2000 0.0704 0.0576 0.0500 0.2000 0.8187 0.0191 0.0001 0.0435 0.0000 0.1500 0.0542 0.0359
410-AH 0.2500 0.4500 0.5500 0.6000 0.7500 0.5352 0.1329 0.1500 0.5000 0.2483 0.5168 0.4956 0.1075 0.2500 0.7500 0.5352 0.1329
411-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0019 0.0096 0.0000 0.0500 5.1962 0.0000 0.0000 0.0036 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0500 0.1000 0.1875 0.4000 0.1278 0.0964 0.1375 0.4000 0.7545 0.0421 0.0001 0.0753 0.0000 0.3000 0.1173 0.0812
413-AH 0.0000 0.0500 0.0500 0.1000 0.1000 0.0556 0.0349 0.0500 0.1000 0.6282 0.0127 0.0001 0.0263 0.0000 0.1000 0.0556 0.0349
414-AH 0.0000 0.1500 0.2000 0.3500 0.4500 0.2315 0.1360 0.2000 0.4500 0.5874 0.1025 0.0001 0.1128 0.0000 0.4500 0.2315 0.1360
415-AH 0.1000 0.3500 0.4500 0.5000 0.6000 0.4056 0.1423 0.1500 0.5000 0.3509 0.3701 0.3187 0.1128 0.1500 0.6000 0.4300 0.1164
416-AH 0.0500 0.2000 0.2500 0.2875 0.4000 0.2444 0.0712 0.0875 0.3500 0.2911 0.2303 0.2068 0.0481 0.1000 0.4000 0.2519 0.0608
417-AH 0.1000 0.4000 0.5500 0.7000 0.8500 0.5296 0.2072 0.3000 0.7500 0.3912 0.4651 0.3634 0.1627 0.1000 0.8500 0.5296 0.2072
418-AH 0.1000 0.1625 0.4000 0.4000 0.4000 0.3056 0.1155 0.2375 0.3000 0.3779 0.2792 0.2496 0.1049 0.1000 0.4000 0.3056 0.1155
419-AH 0.0500 0.1000 0.1000 0.1500 0.1500 0.1093 0.0368 0.0500 0.1000 0.3367 0.1022 0.0942 0.0302 0.0500 0.1500 0.1093 0.0368
420-AH 0.0000 0.2000 0.3000 0.3000 0.3500 0.2370 0.0996 0.1000 0.3500 0.4202 0.0839 0.0001 0.0738 0.1000 0.3500 0.2667 0.0545
421-AH 0.0000 0.1500 0.2500 0.2500 0.3500 0.2074 0.0829 0.1000 0.3500 0.3995 0.1396 0.0003 0.0695 0.1000 0.3500 0.2154 0.0732
422-AH 0.0000 0.0500 0.0500 0.1000 0.4000 0.0944 0.0923 0.0500 0.4000 0.9777 0.0302 0.0001 0.0671 0.0000 0.1500 0.0568 0.0355
423-AH 0.1000 0.2000 0.3000 0.3000 0.3000 0.2481 0.0643 0.1000 0.2000 0.2590 0.2383 0.2263 0.0543 0.1000 0.3000 0.2481 0.0643
424-AH 0.0000 0.0500 0.1000 0.1000 0.1500 0.0759 0.0507 0.0500 0.1500 0.6679 0.0159 0.0001 0.0435 0.0000 0.1500 0.0759 0.0507
425-AH 0.0000 0.0500 0.1500 0.2000 0.3000 0.1333 0.0899 0.1500 0.3000 0.6740 0.0247 0.0001 0.0778 0.0000 0.3000 0.1333 0.0899
426-AH 0.0000 0.1000 0.1500 0.1875 0.3500 0.1370 0.0873 0.0875 0.3500 0.6367 0.0355 0.0001 0.0663 0.0000 0.2500 0.1288 0.0777
427-AH 0.0500 0.1000 0.1500 0.1875 0.3000 0.1463 0.0634 0.0875 0.2500 0.4336 0.1315 0.1151 0.0457 0.0500 0.3000 0.1463 0.0634
428-AH 0.0000 0.0000 0.0000 0.0500 0.1000 0.0259 0.0290 0.0500 0.1000 1.1182 0.0006 0.0000 0.0269 0.0000 0.1000 0.0259 0.0290
429-AH 0.0000 0.2500 0.3000 0.3500 0.7500 0.2981 0.1649 0.1000 0.7500 0.5532 0.1748 0.0003 0.1134 0.2500 0.4500 0.3184 0.0558
430-AH 0.0000 0.0000 0.0000 0.0000 0.1500 0.0111 0.0320 0.0000 0.1500 2.8823 0.0000 0.0000 0.0189 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0500 0.2000 0.6375 0.8000 0.3315 0.2859 0.5875 0.8000 0.8626 0.1066 0.0001 0.2660 0.0000 0.8000 0.3315 0.2859
432-AH 0.0000 0.1125 0.3500 0.3500 0.3500 0.2500 0.1323 0.2375 0.3500 0.5292 0.0816 0.0001 0.1148 0.0000 0.3500 0.2500 0.1323
433-AH 0.0000 0.2500 0.3500 0.6500 0.7500 0.3852 0.2227 0.4000 0.7500 0.5781 0.2328 0.0003 0.1835 0.0000 0.7500 0.3852 0.2227
434-AH 0.0500 0.4125 0.5000 0.6500 0.6500 0.4759 0.1831 0.2375 0.6000 0.3848 0.4145 0.3070 0.1414 0.1000 0.6500 0.4923 0.1653
435-AH 0.0500 0.1000 0.1500 0.2000 0.3000 0.1407 0.0708 0.1000 0.2500 0.5028 0.1223 0.1038 0.0554 0.0500 0.3000 0.1407 0.0708
436-AH 0.0000 0.0000 0.0000 0.0500 0.2500 0.0389 0.0751 0.0500 0.2500 1.9313 0.0002 0.0000 0.0547 0.0000 0.1000 0.0109 0.0259
437-AH 0.2000 0.3500 0.3500 0.4000 0.4000 0.3389 0.0670 0.0500 0.2000 0.1977 0.3313 0.3223 0.0506 0.3500 0.4000 0.3714 0.0254
438-AH 0.0000 0.1500 0.2500 0.3000 0.4500 0.2204 0.1049 0.1500 0.4500 0.4762 0.1437 0.0003 0.0870 0.0000 0.4500 0.2204 0.1049
439-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0148 0.0412 0.0000 0.2000 2.7791 0.0001 0.0000 0.0241 0.0000 0.0000 0.0000 0.0000
440-AH 0.0500 0.3125 0.5500 0.7500 1.0000 0.5222 0.2907 0.4375 0.9500 0.5566 0.3976 0.2327 0.2399 0.0500 1.0000 0.5222 0.2907
441-AH 0.0000 0.0000 0.2000 0.2875 0.3500 0.1630 0.1398 0.2875 0.3500 0.8577 0.0059 0.0000 0.1226 0.0000 0.3500 0.1630 0.1398
442-AH 0.0000 0.1000 0.1500 0.1500 0.2500 0.1352 0.0691 0.0500 0.2500 0.5110 0.0663 0.0001 0.0535 0.0500 0.2000 0.1262 0.0407
443-AH 0.0000 0.0000 0.1000 0.1500 0.2500 0.0796 0.0724 0.1500 0.2500 0.9092 0.0049 0.0000 0.0619 0.0000 0.2500 0.0796 0.0724
444-AH 0.0000 0.2000 0.2500 0.3000 0.3500 0.2222 0.0824 0.1000 0.3500 0.3709 0.1507 0.0003 0.0658 0.1000 0.3500 0.2308 0.0708
445-AH 0.1500 0.2125 0.2500 0.2500 0.2500 0.2296 0.0374 0.0375 0.1000 0.1627 0.2261 0.2219 0.0302 0.2000 0.2500 0.2435 0.0172
446-AH 0.0000 0.0000 0.0500 0.1375 0.3000 0.0796 0.0800 0.1375 0.3000 1.0043 0.0063 0.0000 0.0647 0.0000 0.3000 0.0796 0.0800
447-AH 0.2000 0.4000 0.4500 0.4500 0.5000 0.4074 0.0768 0.0500 0.3000 0.1886 0.3983 0.3866 0.0542 0.4000 0.5000 0.4370 0.0270
448-AH 0.0000 0.1500 0.2000 0.3000 0.4500 0.2222 0.1266 0.1500 0.4500 0.5697 0.1011 0.0001 0.1082 0.0000 0.4500 0.2222 0.1266
449-AH 0.0000 0.0125 0.1000 0.1875 0.3000 0.1130 0.0947 0.1750 0.3000 0.8380 0.0113 0.0000 0.0783 0.0000 0.3000 0.1130 0.0947
450-AH 0.0500 0.1000 0.1500 0.3375 0.7000 0.2000 0.1569 0.2375 0.6500 0.7845 0.1527 0.1192 0.1259 0.0500 0.4000 0.1808 0.1234
74
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.1333 0.1667 0.2250 0.2667 0.1790 0.0532 0.0917 0.1667 0.2973 0.1713 0.1638 0.0443 0.1000 0.2667 0.1790 0.0532
402-AH 0.0667 0.3667 0.4333 0.4667 0.6000 0.4000 0.1166 0.1000 0.5333 0.2914 0.3740 0.3263 0.0840 0.2667 0.6000 0.4306 0.0780
403-AH 0.0000 0.0000 0.0333 0.0333 0.1333 0.0333 0.0381 0.0333 0.1333 1.1435 0.0020 0.0000 0.0247 0.0000 0.0667 0.0222 0.0212
404-AH 0.0000 0.4667 0.5667 0.6667 0.7333 0.5222 0.1904 0.2000 0.7333 0.3645 0.3383 0.0003 0.1432 0.3333 0.7333 0.5764 0.1136
405-AH 0.0000 0.2000 0.2000 0.2333 0.2333 0.1963 0.0542 0.0333 0.2333 0.2760 0.1381 0.0003 0.0335 0.2000 0.2333 0.2159 0.0170
406-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1272 0.0837 0.1333 0.2667 0.6585 0.0243 0.0001 0.0706 0.0000 0.2667 0.1272 0.0837
407-AH 0.0000 0.0083 0.1000 0.2250 0.2333 0.1185 0.0980 0.2167 0.2333 0.8268 0.0113 0.0000 0.0897 0.0000 0.2333 0.1185 0.0980
408-AH 0.3000 0.4667 0.4667 0.5000 0.5333 0.4654 0.0630 0.0333 0.2333 0.1354 0.4608 0.4555 0.0439 0.4333 0.5333 0.4909 0.0312
409-AH 0.0000 0.0333 0.0333 0.0667 0.1667 0.0580 0.0409 0.0333 0.1667 0.7052 0.0371 0.0003 0.0317 0.0000 0.1000 0.0435 0.0212
410-AH 0.2000 0.3333 0.4333 0.4667 0.5000 0.3975 0.0947 0.1333 0.3000 0.2382 0.3845 0.3690 0.0774 0.2000 0.5000 0.3975 0.0947
411-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0012 0.0064 0.0000 0.0333 5.1962 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0417 0.1333 0.1667 0.3000 0.1160 0.0792 0.1250 0.3000 0.6824 0.0388 0.0001 0.0648 0.0000 0.3000 0.1160 0.0792
413-AH 0.0000 0.0333 0.0333 0.0667 0.0667 0.0420 0.0198 0.0333 0.0667 0.4720 0.0230 0.0001 0.0165 0.0000 0.0667 0.0420 0.0198
414-AH 0.0000 0.1000 0.2000 0.2583 0.3333 0.1840 0.1043 0.1583 0.3333 0.5672 0.0832 0.0001 0.0857 0.0000 0.3333 0.1840 0.1043
415-AH 0.0667 0.2750 0.4333 0.4667 0.6000 0.3741 0.1480 0.1917 0.5333 0.3957 0.3305 0.2647 0.1246 0.0667 0.6000 0.3741 0.1480
416-AH 0.0333 0.2333 0.2667 0.2667 0.3000 0.2346 0.0630 0.0333 0.2667 0.2687 0.2182 0.1829 0.0430 0.2000 0.3000 0.2565 0.0255
417-AH 0.0667 0.3417 0.4667 0.5667 0.7000 0.4420 0.1655 0.2250 0.6333 0.3745 0.3965 0.3245 0.1318 0.0667 0.7000 0.4420 0.1655
418-AH 0.0667 0.1083 0.2667 0.2667 0.2667 0.2086 0.0766 0.1583 0.2000 0.3670 0.1910 0.1703 0.0688 0.0667 0.2667 0.2086 0.0766
419-AH 0.0333 0.0667 0.1000 0.1000 0.1000 0.0802 0.0249 0.0333 0.0667 0.3104 0.0754 0.0692 0.0219 0.0333 0.1000 0.0802 0.0249
420-AH 0.0000 0.1750 0.2000 0.2333 0.2667 0.1852 0.0706 0.0583 0.2667 0.3813 0.1212 0.0003 0.0516 0.1333 0.2667 0.2116 0.0295
421-AH 0.0333 0.1000 0.1667 0.1667 0.2333 0.1494 0.0550 0.0667 0.2000 0.3681 0.1373 0.1215 0.0452 0.0333 0.2333 0.1494 0.0550
422-AH 0.0000 0.0333 0.0333 0.1250 0.3000 0.0790 0.0674 0.0917 0.3000 0.8530 0.0455 0.0003 0.0526 0.0000 0.2000 0.0705 0.0519
423-AH 0.1000 0.1667 0.2000 0.2000 0.2000 0.1753 0.0377 0.0333 0.1000 0.2148 0.1705 0.1646 0.0311 0.1333 0.2000 0.1884 0.0216
424-AH 0.0000 0.0333 0.0667 0.1000 0.1000 0.0593 0.0362 0.0667 0.1000 0.6109 0.0173 0.0001 0.0310 0.0000 0.1000 0.0593 0.0362
425-AH 0.0000 0.0333 0.1333 0.1667 0.2000 0.1099 0.0709 0.1333 0.2000 0.6453 0.0371 0.0001 0.0614 0.0000 0.2000 0.1099 0.0709
426-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1333 0.0784 0.1333 0.2667 0.5883 0.0618 0.0001 0.0642 0.0000 0.2667 0.1333 0.0784
427-AH 0.0333 0.1333 0.1333 0.1667 0.2333 0.1333 0.0489 0.0333 0.2000 0.3669 0.1206 0.1018 0.0321 0.1000 0.2000 0.1455 0.0263
428-AH 0.0000 0.0000 0.0333 0.0333 0.1000 0.0272 0.0262 0.0333 0.1000 0.9650 0.0019 0.0000 0.0201 0.0000 0.0667 0.0244 0.0222
429-AH 0.0000 0.2000 0.2667 0.3000 0.6333 0.2593 0.1412 0.1000 0.6333 0.5447 0.1558 0.0003 0.1001 0.0667 0.4333 0.2636 0.0848
430-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0099 0.0223 0.0000 0.1000 2.2572 0.0001 0.0000 0.0154 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0667 0.2000 0.5500 0.6000 0.2852 0.2363 0.4833 0.6000 0.8286 0.1261 0.0003 0.2167 0.0000 0.6000 0.2852 0.2363
432-AH 0.0000 0.1083 0.2333 0.2333 0.2333 0.1765 0.0826 0.1250 0.2333 0.4678 0.1094 0.0003 0.0708 0.0000 0.2333 0.1765 0.0826
433-AH 0.0000 0.1750 0.2667 0.4333 0.5667 0.2975 0.1585 0.2583 0.5667 0.5327 0.1887 0.0003 0.1331 0.0000 0.5667 0.2975 0.1585
434-AH 0.0667 0.2750 0.3667 0.4333 0.4333 0.3333 0.1094 0.1583 0.3667 0.3282 0.3073 0.2677 0.0889 0.0667 0.4333 0.3333 0.1094
435-AH 0.0333 0.0667 0.1333 0.1917 0.2667 0.1296 0.0694 0.1250 0.2333 0.5353 0.1077 0.0843 0.0562 0.0333 0.2667 0.1296 0.0694
436-AH 0.0000 0.0000 0.0000 0.0583 0.2333 0.0370 0.0609 0.0583 0.2333 1.6432 0.0005 0.0000 0.0425 0.0000 0.1000 0.0227 0.0329
437-AH 0.1333 0.2333 0.2333 0.2667 0.2667 0.2346 0.0438 0.0333 0.1333 0.1869 0.2296 0.2235 0.0309 0.2000 0.2667 0.2507 0.0198
438-AH 0.1000 0.1333 0.2000 0.2583 0.3667 0.2012 0.0748 0.1250 0.2667 0.3718 0.1871 0.1729 0.0630 0.1000 0.3667 0.2012 0.0748
439-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0099 0.0274 0.0000 0.1333 2.7791 0.0000 0.0000 0.0161 0.0000 0.0000 0.0000 0.0000
440-AH 0.0333 0.3000 0.5000 0.7167 0.9333 0.4840 0.2757 0.4167 0.9000 0.5697 0.3562 0.1809 0.2315 0.0333 0.9333 0.4840 0.2757
441-AH 0.0000 0.0000 0.1333 0.2333 0.2333 0.1222 0.0987 0.2333 0.2333 0.8076 0.0088 0.0000 0.0889 0.0000 0.2333 0.1222 0.0987
442-AH 0.0333 0.0667 0.1000 0.1250 0.1667 0.0975 0.0402 0.0583 0.1333 0.4124 0.0887 0.0791 0.0303 0.0333 0.1667 0.0975 0.0402
443-AH 0.0000 0.0083 0.0667 0.1000 0.1667 0.0691 0.0530 0.0917 0.1667 0.7673 0.0081 0.0000 0.0447 0.0000 0.1667 0.0691 0.0530
444-AH 0.0000 0.1333 0.2000 0.2667 0.3667 0.2025 0.0862 0.1333 0.3667 0.4257 0.1342 0.0003 0.0692 0.0000 0.3667 0.2025 0.0862
445-AH 0.1000 0.1667 0.1667 0.1667 0.1667 0.1605 0.0161 0.0000 0.0667 0.1004 0.1595 0.1584 0.0105 0.1667 0.1667 0.1667 0.0000
446-AH 0.0000 0.0083 0.0667 0.1250 0.3000 0.0765 0.0727 0.1167 0.3000 0.9496 0.0083 0.0000 0.0551 0.0000 0.3000 0.0765 0.0727
447-AH 0.1333 0.3083 0.3333 0.3333 0.3333 0.3074 0.0550 0.0250 0.2000 0.1788 0.3009 0.2919 0.0384 0.3000 0.3333 0.3290 0.0115
448-AH 0.0000 0.1000 0.1667 0.2333 0.3000 0.1679 0.0884 0.1333 0.3000 0.5266 0.0795 0.0001 0.0754 0.0000 0.3000 0.1679 0.0884
449-AH 0.0000 0.0333 0.0667 0.1333 0.2333 0.0877 0.0705 0.1000 0.2333 0.8043 0.0167 0.0001 0.0579 0.0000 0.2333 0.0877 0.0705
450-AH 0.0333 0.0667 0.1333 0.2667 0.5000 0.1753 0.1249 0.2000 0.4667 0.7126 0.1356 0.1035 0.1016 0.0333 0.5000 0.1753 0.1249
75
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0500 0.0700 0.0800 0.0900 0.1000 0.0793 0.0157 0.0200 0.0500 0.1977 0.0776 0.0758 0.0121 0.0500 0.1000 0.0793 0.0157
402-AH 0.0500 0.1650 0.2100 0.2450 0.3300 0.2067 0.0708 0.0800 0.2800 0.3427 0.1924 0.1738 0.0526 0.0500 0.3300 0.2067 0.0708
403-AH 0.0000 0.0100 0.0100 0.0300 0.0400 0.0178 0.0137 0.0200 0.0400 0.7696 0.0058 0.0001 0.0116 0.0000 0.0400 0.0178 0.0137
404-AH 0.0700 0.2700 0.3200 0.3600 0.3800 0.2967 0.0864 0.0900 0.3100 0.2912 0.2783 0.2500 0.0667 0.1500 0.3800 0.3128 0.0661
405-AH 0.0000 0.0600 0.0700 0.0700 0.0700 0.0633 0.0139 0.0100 0.0700 0.2190 0.0473 0.0003 0.0079 0.0500 0.0700 0.0658 0.0058
406-AH 0.0100 0.0425 0.0800 0.1000 0.1100 0.0700 0.0297 0.0575 0.1000 0.4249 0.0615 0.0495 0.0259 0.0100 0.1100 0.0700 0.0297
407-AH 0.0000 0.0325 0.0700 0.0700 0.0700 0.0489 0.0274 0.0375 0.0700 0.5597 0.0116 0.0001 0.0235 0.0000 0.0700 0.0489 0.0274
408-AH 0.0900 0.1425 0.1500 0.1600 0.1600 0.1467 0.0196 0.0175 0.0700 0.1337 0.1452 0.1434 0.0146 0.1300 0.1600 0.1539 0.0084
409-AH 0.0000 0.0200 0.0300 0.0500 0.0600 0.0322 0.0187 0.0300 0.0600 0.5795 0.0212 0.0003 0.0160 0.0000 0.0600 0.0322 0.0187
410-AH 0.0900 0.1300 0.1500 0.1575 0.1600 0.1389 0.0231 0.0275 0.0700 0.1663 0.1367 0.1343 0.0185 0.0900 0.1600 0.1389 0.0231
411-AH 0.0000 0.0000 0.0000 0.0000 0.0200 0.0033 0.0068 0.0000 0.0200 2.0381 0.0001 0.0000 0.0052 0.0000 0.0000 0.0000 0.0000
412-AH 0.0200 0.0400 0.0700 0.1000 0.1500 0.0700 0.0339 0.0600 0.1300 0.4836 0.0611 0.0519 0.0281 0.0200 0.1500 0.0700 0.0339
413-AH 0.0100 0.0100 0.0200 0.0200 0.0200 0.0156 0.0051 0.0100 0.0100 0.3255 0.0147 0.0138 0.0049 0.0100 0.0200 0.0156 0.0051
414-AH 0.0100 0.0425 0.1000 0.1100 0.1200 0.0819 0.0364 0.0675 0.1100 0.4444 0.0695 0.0520 0.0323 0.0100 0.1200 0.0819 0.0364
415-AH 0.0600 0.1575 0.2700 0.2900 0.3400 0.2289 0.0833 0.1325 0.2800 0.3638 0.2086 0.1812 0.0701 0.0600 0.3400 0.2289 0.0833
416-AH 0.0300 0.0800 0.0900 0.0900 0.0900 0.0815 0.0143 0.0100 0.0600 0.1759 0.0797 0.0770 0.0101 0.0700 0.0900 0.0848 0.0077
417-AH 0.0500 0.1500 0.2000 0.2750 0.3600 0.2015 0.0838 0.1250 0.3100 0.4159 0.1820 0.1597 0.0676 0.0500 0.3600 0.2015 0.0838
418-AH 0.0300 0.0400 0.0800 0.0800 0.0800 0.0637 0.0219 0.0400 0.0500 0.3432 0.0591 0.0539 0.0198 0.0300 0.0800 0.0637 0.0219
419-AH 0.0100 0.0200 0.0300 0.0300 0.0300 0.0259 0.0064 0.0100 0.0200 0.2453 0.0249 0.0235 0.0054 0.0100 0.0300 0.0259 0.0064
420-AH 0.0000 0.0700 0.0800 0.0900 0.1100 0.0748 0.0297 0.0200 0.1100 0.3965 0.0497 0.0003 0.0213 0.0600 0.1100 0.0857 0.0138
421-AH 0.0200 0.0400 0.0500 0.0675 0.0700 0.0526 0.0138 0.0275 0.0500 0.2615 0.0506 0.0484 0.0118 0.0200 0.0700 0.0526 0.0138
422-AH 0.0100 0.0200 0.0300 0.0775 0.1200 0.0496 0.0380 0.0575 0.1100 0.7652 0.0367 0.0272 0.0329 0.0100 0.1200 0.0496 0.0380
423-AH 0.0300 0.0600 0.0600 0.0600 0.0600 0.0559 0.0084 0.0000 0.0300 0.1509 0.0552 0.0542 0.0063 0.0600 0.0600 0.0600 0.0000
424-AH 0.0000 0.0200 0.0300 0.0300 0.0400 0.0256 0.0109 0.0100 0.0400 0.4250 0.0182 0.0003 0.0089 0.0100 0.0400 0.0265 0.0098
425-AH 0.0100 0.0300 0.0600 0.0775 0.0900 0.0541 0.0283 0.0475 0.0800 0.5237 0.0438 0.0315 0.0236 0.0100 0.0900 0.0541 0.0283
426-AH 0.0000 0.0425 0.0900 0.1100 0.1800 0.0867 0.0460 0.0675 0.1800 0.5307 0.0571 0.0003 0.0375 0.0000 0.1800 0.0867 0.0460
427-AH 0.0200 0.0700 0.0800 0.0800 0.0800 0.0722 0.0142 0.0100 0.0600 0.1971 0.0700 0.0662 0.0104 0.0600 0.0800 0.0762 0.0071
428-AH 0.0000 0.0100 0.0200 0.0300 0.0500 0.0196 0.0109 0.0200 0.0500 0.5559 0.0109 0.0001 0.0079 0.0000 0.0500 0.0196 0.0109
429-AH 0.0000 0.1050 0.1500 0.2000 0.3100 0.1485 0.0738 0.0950 0.3100 0.4968 0.0950 0.0003 0.0565 0.0000 0.3100 0.1485 0.0738
430-AH 0.0000 0.0000 0.0000 0.0100 0.0400 0.0048 0.0089 0.0100 0.0400 1.8550 0.0001 0.0000 0.0064 0.0000 0.0200 0.0035 0.0056
431-AH 0.0000 0.0300 0.1200 0.2100 0.2200 0.1185 0.0848 0.1800 0.2200 0.7158 0.0599 0.0003 0.0757 0.0000 0.2200 0.1185 0.0848
432-AH 0.0200 0.0450 0.0700 0.0700 0.0700 0.0585 0.0194 0.0250 0.0500 0.3308 0.0540 0.0479 0.0163 0.0200 0.0700 0.0585 0.0194
433-AH 0.0100 0.0700 0.1000 0.1700 0.1900 0.1152 0.0516 0.1000 0.1800 0.4481 0.1004 0.0754 0.0450 0.0100 0.1900 0.1152 0.0516
434-AH 0.0600 0.1100 0.1200 0.1300 0.1300 0.1119 0.0224 0.0200 0.0700 0.2000 0.1091 0.1057 0.0166 0.0900 0.1300 0.1183 0.0131
435-AH 0.0100 0.0525 0.0700 0.0975 0.1600 0.0748 0.0363 0.0450 0.1500 0.4853 0.0620 0.0429 0.0272 0.0100 0.1600 0.0748 0.0363
436-AH 0.0000 0.0000 0.0100 0.0525 0.1000 0.0252 0.0320 0.0525 0.1000 1.2718 0.0009 0.0000 0.0265 0.0000 0.1000 0.0252 0.0320
437-AH 0.0600 0.0700 0.0800 0.0800 0.0800 0.0763 0.0063 0.0100 0.0200 0.0825 0.0760 0.0757 0.0052 0.0600 0.0800 0.0763 0.0063
438-AH 0.0600 0.1075 0.1600 0.1900 0.2300 0.1533 0.0513 0.0825 0.1700 0.3345 0.1433 0.1317 0.0417 0.0600 0.2300 0.1533 0.0513
439-AH 0.0000 0.0000 0.0000 0.0100 0.0400 0.0059 0.0108 0.0100 0.0400 1.8283 0.0001 0.0000 0.0075 0.0000 0.0100 0.0032 0.0048
440-AH 0.0500 0.2250 0.2800 0.3400 0.4100 0.2652 0.1081 0.1150 0.3600 0.4075 0.2318 0.1839 0.0835 0.0600 0.4100 0.2735 0.1011
441-AH 0.0000 0.0100 0.0500 0.0700 0.0700 0.0422 0.0293 0.0600 0.0700 0.6931 0.0073 0.0000 0.0263 0.0000 0.0700 0.0422 0.0293
442-AH 0.0200 0.0300 0.0400 0.0500 0.0500 0.0367 0.0118 0.0200 0.0300 0.3209 0.0347 0.0325 0.0104 0.0200 0.0500 0.0367 0.0118
443-AH 0.0000 0.0300 0.0500 0.0600 0.0800 0.0426 0.0265 0.0300 0.0800 0.6232 0.0127 0.0001 0.0218 0.0000 0.0800 0.0426 0.0265
444-AH 0.0200 0.0925 0.1200 0.1500 0.1700 0.1156 0.0404 0.0575 0.1500 0.3497 0.1055 0.0900 0.0327 0.0200 0.1700 0.1156 0.0404
445-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
446-AH 0.0100 0.0300 0.0500 0.0700 0.1500 0.0519 0.0333 0.0400 0.1400 0.6419 0.0408 0.0299 0.0258 0.0100 0.1000 0.0481 0.0274
447-AH 0.0500 0.1000 0.1000 0.1000 0.1000 0.0952 0.0112 0.0000 0.0500 0.1179 0.0943 0.0932 0.0075 0.1000 0.1000 0.1000 0.0000
448-AH 0.0000 0.0500 0.0900 0.0900 0.1000 0.0667 0.0294 0.0400 0.1000 0.4403 0.0451 0.0003 0.0254 0.0000 0.1000 0.0667 0.0294
449-AH 0.0100 0.0300 0.0300 0.0675 0.0900 0.0407 0.0230 0.0375 0.0800 0.5652 0.0339 0.0269 0.0195 0.0100 0.0900 0.0407 0.0230
450-AH 0.0200 0.0600 0.1000 0.1400 0.2100 0.1004 0.0567 0.0800 0.1900 0.5653 0.0807 0.0592 0.0456 0.0200 0.2100 0.1004 0.0567
76
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0250 0.0412 0.0450 0.0500 0.0500 0.0450 0.0059 0.0088 0.0250 0.1307 0.0446 0.0440 0.0041 0.0350 0.0500 0.0458 0.0044
402-AH 0.0550 0.1062 0.1250 0.1437 0.1900 0.1239 0.0353 0.0375 0.1350 0.2846 0.1187 0.1130 0.0271 0.0550 0.1900 0.1239 0.0353
403-AH 0.0000 0.0050 0.0100 0.0200 0.0250 0.0120 0.0075 0.0150 0.0250 0.6232 0.0066 0.0001 0.0066 0.0000 0.0250 0.0120 0.0075
404-AH 0.1150 0.1863 0.1950 0.2000 0.2150 0.1854 0.0279 0.0138 0.1000 0.1505 0.1829 0.1800 0.0202 0.1800 0.2150 0.1975 0.0087
405-AH 0.0000 0.0300 0.0350 0.0350 0.0350 0.0324 0.0068 0.0050 0.0350 0.2112 0.0249 0.0003 0.0036 0.0300 0.0350 0.0337 0.0023
406-AH 0.0050 0.0312 0.0500 0.0550 0.0600 0.0441 0.0152 0.0238 0.0550 0.3447 0.0400 0.0322 0.0130 0.0050 0.0600 0.0441 0.0152
407-AH 0.0000 0.0212 0.0350 0.0350 0.0350 0.0274 0.0124 0.0138 0.0350 0.4536 0.0121 0.0001 0.0101 0.0100 0.0350 0.0308 0.0080
408-AH 0.0550 0.0750 0.0800 0.0800 0.0800 0.0752 0.0075 0.0050 0.0250 0.1001 0.0748 0.0743 0.0053 0.0700 0.0800 0.0775 0.0036
409-AH 0.0050 0.0100 0.0200 0.0287 0.0300 0.0187 0.0091 0.0187 0.0250 0.4839 0.0160 0.0130 0.0077 0.0050 0.0300 0.0187 0.0091
410-AH 0.0450 0.0662 0.0750 0.0800 0.0800 0.0724 0.0110 0.0137 0.0350 0.1513 0.0714 0.0703 0.0085 0.0500 0.0800 0.0746 0.0079
411-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0044 0.0047 0.0100 0.0100 1.0504 0.0003 0.0000 0.0043 0.0000 0.0100 0.0044 0.0047
412-AH 0.0150 0.0350 0.0550 0.0650 0.0750 0.0509 0.0192 0.0300 0.0600 0.3764 0.0466 0.0416 0.0167 0.0150 0.0750 0.0509 0.0192
413-AH 0.0050 0.0050 0.0100 0.0100 0.0100 0.0081 0.0025 0.0050 0.0050 0.3020 0.0077 0.0073 0.0023 0.0050 0.0100 0.0081 0.0025
414-AH 0.0150 0.0312 0.0550 0.0550 0.0600 0.0456 0.0161 0.0238 0.0450 0.3528 0.0417 0.0366 0.0137 0.0150 0.0600 0.0456 0.0161
415-AH 0.0450 0.1163 0.1750 0.1988 0.2050 0.1519 0.0501 0.0825 0.1600 0.3298 0.1409 0.1262 0.0430 0.0450 0.2050 0.1519 0.0501
416-AH 0.0350 0.0412 0.0450 0.0450 0.0450 0.0430 0.0037 0.0038 0.0100 0.0870 0.0428 0.0426 0.0030 0.0400 0.0450 0.0443 0.0017
417-AH 0.0550 0.0913 0.1350 0.1688 0.1950 0.1276 0.0417 0.0775 0.1400 0.3270 0.1204 0.1127 0.0367 0.0550 0.1950 0.1276 0.0417
418-AH 0.0150 0.0250 0.0400 0.0400 0.0400 0.0333 0.0104 0.0150 0.0250 0.3113 0.0312 0.0287 0.0090 0.0150 0.0400 0.0333 0.0104
419-AH 0.0050 0.0150 0.0150 0.0150 0.0150 0.0139 0.0029 0.0000 0.0100 0.2078 0.0134 0.0127 0.0019 0.0150 0.0150 0.0150 0.0000
420-AH 0.0050 0.0362 0.0450 0.0488 0.0550 0.0402 0.0129 0.0125 0.0500 0.3209 0.0366 0.0298 0.0091 0.0200 0.0550 0.0438 0.0081
421-AH 0.0100 0.0200 0.0300 0.0350 0.0350 0.0272 0.0070 0.0150 0.0250 0.2564 0.0262 0.0250 0.0060 0.0100 0.0350 0.0272 0.0070
422-AH 0.0050 0.0162 0.0300 0.0525 0.0650 0.0333 0.0194 0.0363 0.0600 0.5809 0.0276 0.0219 0.0163 0.0050 0.0650 0.0333 0.0194
423-AH 0.0200 0.0300 0.0300 0.0300 0.0300 0.0291 0.0028 0.0000 0.0100 0.0958 0.0289 0.0287 0.0016 0.0300 0.0300 0.0300 0.0000
424-AH 0.0050 0.0150 0.0150 0.0150 0.0200 0.0148 0.0043 0.0000 0.0150 0.2882 0.0139 0.0127 0.0025 0.0150 0.0150 0.0150 0.0000
425-AH 0.0150 0.0250 0.0350 0.0450 0.0500 0.0337 0.0114 0.0200 0.0350 0.3383 0.0315 0.0290 0.0096 0.0150 0.0500 0.0337 0.0114
426-AH 0.0000 0.0513 0.0650 0.0800 0.0950 0.0630 0.0252 0.0287 0.0950 0.4003 0.0438 0.0003 0.0206 0.0200 0.0950 0.0654 0.0223
427-AH 0.0250 0.0400 0.0400 0.0400 0.0400 0.0381 0.0044 0.0000 0.0150 0.1158 0.0378 0.0375 0.0030 0.0400 0.0400 0.0400 0.0000
428-AH 0.0050 0.0100 0.0150 0.0187 0.0250 0.0131 0.0059 0.0087 0.0200 0.4493 0.0117 0.0101 0.0050 0.0050 0.0250 0.0131 0.0059
429-AH 0.0000 0.0763 0.0950 0.1150 0.1650 0.0931 0.0400 0.0388 0.1650 0.4295 0.0630 0.0003 0.0298 0.0250 0.1650 0.0967 0.0361
430-AH 0.0000 0.0000 0.0000 0.0050 0.0200 0.0031 0.0050 0.0050 0.0200 1.5973 0.0001 0.0000 0.0037 0.0000 0.0100 0.0020 0.0029
431-AH 0.0000 0.0300 0.0850 0.1100 0.1100 0.0698 0.0402 0.0800 0.1100 0.5759 0.0420 0.0003 0.0361 0.0000 0.1100 0.0698 0.0402
432-AH 0.0150 0.0275 0.0350 0.0350 0.0350 0.0304 0.0082 0.0075 0.0200 0.2698 0.0289 0.0271 0.0069 0.0200 0.0350 0.0339 0.0038
433-AH 0.0100 0.0500 0.0700 0.0900 0.0950 0.0657 0.0248 0.0400 0.0850 0.3772 0.0595 0.0501 0.0215 0.0100 0.0950 0.0657 0.0248
434-AH 0.0300 0.0550 0.0650 0.0650 0.0650 0.0580 0.0105 0.0100 0.0350 0.1810 0.0568 0.0554 0.0081 0.0450 0.0650 0.0610 0.0059
435-AH 0.0100 0.0412 0.0500 0.0637 0.0850 0.0502 0.0193 0.0225 0.0750 0.3854 0.0445 0.0354 0.0143 0.0100 0.0850 0.0502 0.0193
436-AH 0.0000 0.0000 0.0100 0.0387 0.0550 0.0191 0.0197 0.0387 0.0550 1.0334 0.0014 0.0000 0.0175 0.0000 0.0550 0.0191 0.0197
437-AH 0.0300 0.0400 0.0400 0.0400 0.0400 0.0387 0.0030 0.0000 0.0100 0.0768 0.0386 0.0384 0.0021 0.0400 0.0400 0.0400 0.0000
438-AH 0.0500 0.0950 0.1100 0.1237 0.1400 0.1033 0.0250 0.0288 0.0900 0.2416 0.0998 0.0957 0.0200 0.0650 0.1400 0.1076 0.0205
439-AH 0.0000 0.0000 0.0050 0.0050 0.0200 0.0048 0.0056 0.0050 0.0200 1.1693 0.0005 0.0000 0.0039 0.0000 0.0100 0.0036 0.0037
440-AH 0.0650 0.1450 0.1650 0.1950 0.2100 0.1594 0.0453 0.0500 0.1450 0.2844 0.1510 0.1398 0.0347 0.0700 0.2100 0.1670 0.0377
441-AH 0.0000 0.0050 0.0300 0.0350 0.0350 0.0228 0.0145 0.0300 0.0350 0.6366 0.0057 0.0001 0.0126 0.0000 0.0350 0.0228 0.0145
442-AH 0.0100 0.0150 0.0250 0.0250 0.0250 0.0207 0.0058 0.0100 0.0150 0.2813 0.0197 0.0185 0.0050 0.0100 0.0250 0.0207 0.0058
443-AH 0.0050 0.0225 0.0350 0.0450 0.0500 0.0331 0.0139 0.0225 0.0450 0.4207 0.0289 0.0229 0.0112 0.0050 0.0500 0.0331 0.0139
444-AH 0.0150 0.0562 0.0750 0.0800 0.0850 0.0669 0.0188 0.0237 0.0700 0.2807 0.0630 0.0567 0.0147 0.0300 0.0850 0.0688 0.0160
445-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
446-AH 0.0050 0.0200 0.0350 0.0450 0.0900 0.0359 0.0192 0.0250 0.0850 0.5349 0.0291 0.0201 0.0143 0.0050 0.0600 0.0338 0.0162
447-AH 0.0400 0.0500 0.0500 0.0500 0.0500 0.0491 0.0024 0.0000 0.0100 0.0492 0.0490 0.0489 0.0016 0.0500 0.0500 0.0500 0.0000
448-AH 0.0000 0.0250 0.0450 0.0450 0.0500 0.0380 0.0127 0.0200 0.0500 0.3333 0.0278 0.0003 0.0105 0.0000 0.0500 0.0380 0.0127
449-AH 0.0100 0.0150 0.0300 0.0350 0.0500 0.0274 0.0124 0.0200 0.0400 0.4536 0.0245 0.0215 0.0108 0.0100 0.0500 0.0274 0.0124
450-AH 0.0100 0.0450 0.0700 0.0950 0.1100 0.0693 0.0307 0.0500 0.1000 0.4435 0.0595 0.0457 0.0263 0.0100 0.1100 0.0693 0.0307
77
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0180 0.0200 0.0200 0.0220 0.0220 0.0204 0.0012 0.0020 0.0040 0.0611 0.0203 0.0203 0.0010 0.0180 0.0220 0.0204 0.0012
402-AH 0.0340 0.0485 0.0580 0.0680 0.0800 0.0581 0.0143 0.0195 0.0460 0.2452 0.0564 0.0546 0.0114 0.0340 0.0800 0.0581 0.0143
403-AH 0.0000 0.0040 0.0080 0.0100 0.0100 0.0067 0.0033 0.0060 0.0100 0.4992 0.0048 0.0003 0.0030 0.0000 0.0100 0.0067 0.0033
404-AH 0.0680 0.0820 0.0880 0.0880 0.0880 0.0842 0.0059 0.0060 0.0200 0.0704 0.0840 0.0838 0.0045 0.0740 0.0880 0.0855 0.0038
405-AH 0.0040 0.0140 0.0140 0.0140 0.0140 0.0133 0.0020 0.0000 0.0100 0.1500 0.0131 0.0125 0.0011 0.0140 0.0140 0.0140 0.0000
406-AH 0.0100 0.0160 0.0240 0.0240 0.0240 0.0204 0.0047 0.0080 0.0140 0.2275 0.0198 0.0191 0.0040 0.0100 0.0240 0.0204 0.0047
407-AH 0.0020 0.0110 0.0140 0.0140 0.0140 0.0117 0.0043 0.0030 0.0120 0.3693 0.0102 0.0076 0.0034 0.0100 0.0140 0.0136 0.0012
408-AH 0.0260 0.0300 0.0320 0.0320 0.0320 0.0305 0.0020 0.0020 0.0060 0.0670 0.0304 0.0304 0.0016 0.0280 0.0320 0.0311 0.0013
409-AH 0.0040 0.0080 0.0100 0.0120 0.0120 0.0097 0.0023 0.0040 0.0080 0.2405 0.0094 0.0090 0.0019 0.0040 0.0120 0.0097 0.0023
410-AH 0.0200 0.0300 0.0320 0.0320 0.0320 0.0301 0.0039 0.0020 0.0120 0.1284 0.0298 0.0294 0.0027 0.0280 0.0320 0.0313 0.0014
411-AH 0.0000 0.0020 0.0020 0.0040 0.0040 0.0027 0.0014 0.0020 0.0040 0.5018 0.0015 0.0001 0.0012 0.0000 0.0040 0.0027 0.0014
412-AH 0.0120 0.0220 0.0280 0.0360 0.0440 0.0290 0.0085 0.0140 0.0320 0.2951 0.0276 0.0261 0.0073 0.0120 0.0440 0.0290 0.0085
413-AH 0.0020 0.0040 0.0040 0.0040 0.0040 0.0037 0.0007 0.0000 0.0020 0.1955 0.0036 0.0035 0.0005 0.0040 0.0040 0.0040 0.0000
414-AH 0.0060 0.0200 0.0240 0.0240 0.0240 0.0207 0.0056 0.0040 0.0180 0.2676 0.0195 0.0175 0.0038 0.0140 0.0240 0.0225 0.0024
415-AH 0.0320 0.0595 0.0800 0.0880 0.0940 0.0727 0.0190 0.0285 0.0620 0.2606 0.0698 0.0661 0.0160 0.0320 0.0940 0.0727 0.0190
416-AH 0.0160 0.0180 0.0180 0.0180 0.0180 0.0178 0.0006 0.0000 0.0020 0.0360 0.0178 0.0178 0.0004 0.0180 0.0180 0.0180 0.0000
417-AH 0.0220 0.0575 0.0700 0.0760 0.0800 0.0647 0.0147 0.0185 0.0580 0.2270 0.0625 0.0594 0.0114 0.0380 0.0800 0.0664 0.0122
418-AH 0.0060 0.0140 0.0160 0.0160 0.0160 0.0141 0.0035 0.0020 0.0100 0.2476 0.0135 0.0127 0.0027 0.0120 0.0160 0.0156 0.0010
419-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
420-AH 0.0080 0.0180 0.0180 0.0215 0.0220 0.0177 0.0044 0.0035 0.0140 0.2501 0.0170 0.0160 0.0031 0.0140 0.0220 0.0193 0.0022
421-AH 0.0040 0.0100 0.0120 0.0140 0.0140 0.0116 0.0027 0.0040 0.0100 0.2368 0.0112 0.0106 0.0023 0.0040 0.0140 0.0116 0.0027
422-AH 0.0060 0.0140 0.0200 0.0255 0.0320 0.0196 0.0076 0.0115 0.0260 0.3885 0.0180 0.0161 0.0062 0.0060 0.0320 0.0196 0.0076
423-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0119 0.0005 0.0000 0.0020 0.0450 0.0118 0.0118 0.0003 0.0120 0.0120 0.0120 0.0000
424-AH 0.0020 0.0060 0.0080 0.0080 0.0080 0.0070 0.0018 0.0020 0.0060 0.2565 0.0066 0.0060 0.0014 0.0040 0.0080 0.0074 0.0011
425-AH 0.0060 0.0120 0.0180 0.0195 0.0200 0.0158 0.0045 0.0075 0.0140 0.2863 0.0149 0.0139 0.0037 0.0060 0.0200 0.0158 0.0045
426-AH 0.0000 0.0270 0.0340 0.0400 0.0440 0.0320 0.0111 0.0130 0.0440 0.3471 0.0233 0.0003 0.0084 0.0080 0.0440 0.0332 0.0093
427-AH 0.0120 0.0160 0.0160 0.0160 0.0160 0.0156 0.0010 0.0000 0.0040 0.0651 0.0155 0.0155 0.0007 0.0160 0.0160 0.0160 0.0000
428-AH 0.0020 0.0045 0.0080 0.0100 0.0100 0.0073 0.0025 0.0055 0.0080 0.3466 0.0068 0.0061 0.0022 0.0020 0.0100 0.0073 0.0025
429-AH 0.0120 0.0365 0.0480 0.0555 0.0720 0.0454 0.0156 0.0190 0.0600 0.3429 0.0420 0.0373 0.0122 0.0120 0.0720 0.0454 0.0156
430-AH 0.0000 0.0000 0.0020 0.0020 0.0080 0.0021 0.0024 0.0020 0.0080 1.1804 0.0003 0.0000 0.0017 0.0000 0.0040 0.0012 0.0013
431-AH 0.0000 0.0210 0.0400 0.0440 0.0440 0.0330 0.0134 0.0230 0.0440 0.4048 0.0234 0.0003 0.0114 0.0000 0.0440 0.0330 0.0134
432-AH 0.0060 0.0140 0.0140 0.0140 0.0140 0.0130 0.0024 0.0000 0.0080 0.1834 0.0127 0.0122 0.0017 0.0140 0.0140 0.0140 0.0000
433-AH 0.0080 0.0245 0.0320 0.0380 0.0380 0.0299 0.0084 0.0135 0.0300 0.2824 0.0283 0.0261 0.0067 0.0080 0.0380 0.0299 0.0084
434-AH 0.0160 0.0220 0.0260 0.0260 0.0260 0.0237 0.0034 0.0040 0.0100 0.1418 0.0234 0.0231 0.0028 0.0160 0.0260 0.0237 0.0034
435-AH 0.0080 0.0205 0.0240 0.0340 0.0400 0.0266 0.0089 0.0135 0.0320 0.3343 0.0247 0.0224 0.0076 0.0080 0.0400 0.0266 0.0089
436-AH 0.0000 0.0010 0.0140 0.0180 0.0240 0.0113 0.0092 0.0170 0.0240 0.8102 0.0020 0.0000 0.0084 0.0000 0.0240 0.0113 0.0092
437-AH 0.0140 0.0160 0.0160 0.0160 0.0160 0.0157 0.0007 0.0000 0.0020 0.0461 0.0157 0.0157 0.0005 0.0160 0.0160 0.0160 0.0000
438-AH 0.0280 0.0440 0.0520 0.0540 0.0600 0.0490 0.0089 0.0100 0.0320 0.1825 0.0480 0.0469 0.0071 0.0340 0.0600 0.0506 0.0068
439-AH 0.0000 0.0020 0.0020 0.0060 0.0120 0.0039 0.0032 0.0040 0.0120 0.8388 0.0013 0.0001 0.0027 0.0000 0.0080 0.0035 0.0028
440-AH 0.0500 0.0700 0.0760 0.0835 0.0840 0.0742 0.0104 0.0135 0.0340 0.1399 0.0734 0.0726 0.0082 0.0500 0.0840 0.0742 0.0104
441-AH 0.0000 0.0065 0.0140 0.0140 0.0140 0.0104 0.0053 0.0075 0.0140 0.5104 0.0057 0.0001 0.0045 0.0000 0.0140 0.0104 0.0053
442-AH 0.0040 0.0085 0.0100 0.0100 0.0100 0.0089 0.0021 0.0015 0.0060 0.2363 0.0086 0.0081 0.0016 0.0080 0.0100 0.0098 0.0006
443-AH 0.0060 0.0160 0.0180 0.0200 0.0200 0.0167 0.0044 0.0040 0.0140 0.2654 0.0159 0.0147 0.0034 0.0120 0.0200 0.0183 0.0021
444-AH 0.0120 0.0280 0.0320 0.0340 0.0340 0.0296 0.0056 0.0060 0.0220 0.1908 0.0289 0.0279 0.0043 0.0200 0.0340 0.0302 0.0045
445-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
446-AH 0.0040 0.0110 0.0220 0.0260 0.0360 0.0200 0.0094 0.0150 0.0320 0.4699 0.0171 0.0133 0.0079 0.0040 0.0360 0.0200 0.0094
447-AH 0.0180 0.0200 0.0200 0.0200 0.0200 0.0199 0.0005 0.0000 0.0020 0.0269 0.0198 0.0198 0.0003 0.0200 0.0200 0.0200 0.0000
448-AH 0.0020 0.0150 0.0180 0.0180 0.0200 0.0163 0.0041 0.0030 0.0180 0.2540 0.0153 0.0128 0.0031 0.0120 0.0200 0.0174 0.0024
449-AH 0.0060 0.0080 0.0160 0.0180 0.0200 0.0139 0.0049 0.0100 0.0140 0.3483 0.0130 0.0120 0.0045 0.0060 0.0200 0.0139 0.0049
450-AH 0.0140 0.0320 0.0420 0.0440 0.0460 0.0370 0.0102 0.0120 0.0320 0.2747 0.0352 0.0326 0.0081 0.0160 0.0460 0.0389 0.0080
78
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-CS-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0090 0.0100 0.0100 0.0110 0.0110 0.0103 0.0007 0.0010 0.0020 0.0657 0.0103 0.0103 0.0006 0.0090 0.0110 0.0103 0.0007
402-AH 0.0200 0.0280 0.0310 0.0360 0.0400 0.0316 0.0060 0.0080 0.0200 0.1903 0.0310 0.0304 0.0049 0.0200 0.0400 0.0316 0.0060
403-AH 0.0010 0.0030 0.0050 0.0050 0.0050 0.0039 0.0014 0.0020 0.0040 0.3651 0.0035 0.0030 0.0012 0.0010 0.0050 0.0039 0.0014
404-AH 0.0400 0.0440 0.0440 0.0440 0.0440 0.0435 0.0012 0.0000 0.0040 0.0266 0.0435 0.0435 0.0008 0.0440 0.0440 0.0440 0.0000
405-AH 0.0050 0.0070 0.0070 0.0070 0.0070 0.0068 0.0005 0.0000 0.0020 0.0709 0.0068 0.0068 0.0003 0.0070 0.0070 0.0070 0.0000
406-AH 0.0060 0.0110 0.0120 0.0120 0.0130 0.0111 0.0018 0.0010 0.0070 0.1626 0.0110 0.0107 0.0013 0.0100 0.0130 0.0118 0.0006
407-AH 0.0020 0.0070 0.0070 0.0070 0.0070 0.0063 0.0015 0.0000 0.0050 0.2445 0.0060 0.0056 0.0011 0.0070 0.0070 0.0070 0.0000
408-AH 0.0130 0.0150 0.0160 0.0160 0.0160 0.0153 0.0010 0.0010 0.0030 0.0623 0.0153 0.0152 0.0008 0.0140 0.0160 0.0155 0.0007
409-AH 0.0040 0.0050 0.0060 0.0060 0.0060 0.0054 0.0007 0.0010 0.0020 0.1282 0.0054 0.0053 0.0006 0.0040 0.0060 0.0054 0.0007
410-AH 0.0110 0.0160 0.0160 0.0160 0.0160 0.0154 0.0013 0.0000 0.0050 0.0810 0.0154 0.0153 0.0009 0.0160 0.0160 0.0160 0.0000
411-AH 0.0000 0.0010 0.0020 0.0020 0.0020 0.0016 0.0006 0.0010 0.0020 0.3862 0.0012 0.0001 0.0005 0.0000 0.0020 0.0016 0.0006
412-AH 0.0110 0.0143 0.0190 0.0217 0.0220 0.0179 0.0037 0.0075 0.0110 0.2094 0.0174 0.0170 0.0033 0.0110 0.0220 0.0179 0.0037
413-AH 0.0010 0.0020 0.0020 0.0020 0.0020 0.0019 0.0003 0.0000 0.0010 0.1695 0.0019 0.0018 0.0002 0.0020 0.0020 0.0020 0.0000
414-AH 0.0040 0.0110 0.0120 0.0120 0.0120 0.0108 0.0024 0.0010 0.0080 0.2248 0.0104 0.0097 0.0016 0.0100 0.0120 0.0116 0.0007
415-AH 0.0180 0.0360 0.0420 0.0450 0.0470 0.0398 0.0080 0.0090 0.0290 0.2003 0.0387 0.0373 0.0059 0.0270 0.0470 0.0415 0.0051
416-AH 0.0080 0.0090 0.0090 0.0090 0.0090 0.0089 0.0003 0.0000 0.0010 0.0299 0.0089 0.0089 0.0001 0.0090 0.0090 0.0090 0.0000
417-AH 0.0110 0.0360 0.0380 0.0390 0.0400 0.0357 0.0067 0.0030 0.0290 0.1870 0.0347 0.0331 0.0044 0.0330 0.0400 0.0381 0.0019
418-AH 0.0030 0.0080 0.0080 0.0080 0.0080 0.0072 0.0017 0.0000 0.0050 0.2346 0.0069 0.0066 0.0013 0.0080 0.0080 0.0080 0.0000
419-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
420-AH 0.0050 0.0090 0.0100 0.0110 0.0110 0.0094 0.0018 0.0020 0.0060 0.1865 0.0092 0.0090 0.0013 0.0060 0.0110 0.0098 0.0013
421-AH 0.0030 0.0050 0.0070 0.0070 0.0070 0.0061 0.0012 0.0020 0.0040 0.1996 0.0060 0.0058 0.0011 0.0030 0.0070 0.0061 0.0012
422-AH 0.0040 0.0090 0.0130 0.0147 0.0180 0.0122 0.0038 0.0058 0.0140 0.3106 0.0115 0.0107 0.0030 0.0040 0.0180 0.0122 0.0038
423-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
424-AH 0.0020 0.0033 0.0040 0.0040 0.0040 0.0037 0.0006 0.0008 0.0020 0.1691 0.0036 0.0035 0.0005 0.0030 0.0040 0.0038 0.0004
425-AH 0.0030 0.0083 0.0090 0.0100 0.0100 0.0086 0.0022 0.0017 0.0070 0.2539 0.0082 0.0076 0.0016 0.0060 0.0100 0.0092 0.0011
426-AH 0.0000 0.0170 0.0190 0.0210 0.0220 0.0175 0.0056 0.0040 0.0220 0.3179 0.0131 0.0003 0.0040 0.0120 0.0220 0.0187 0.0034
427-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0005 0.0000 0.0020 0.0618 0.0078 0.0078 0.0003 0.0080 0.0080 0.0080 0.0000
428-AH 0.0020 0.0040 0.0050 0.0050 0.0060 0.0043 0.0011 0.0010 0.0040 0.2560 0.0042 0.0039 0.0009 0.0030 0.0060 0.0046 0.0008
429-AH 0.0120 0.0222 0.0280 0.0290 0.0360 0.0259 0.0064 0.0067 0.0240 0.2495 0.0249 0.0239 0.0051 0.0170 0.0360 0.0270 0.0053
430-AH 0.0000 0.0010 0.0020 0.0030 0.0040 0.0019 0.0013 0.0020 0.0040 0.6977 0.0009 0.0001 0.0011 0.0000 0.0040 0.0019 0.0013
431-AH 0.0020 0.0150 0.0220 0.0220 0.0220 0.0186 0.0053 0.0070 0.0200 0.2831 0.0172 0.0139 0.0041 0.0100 0.0220 0.0192 0.0042
432-AH 0.0030 0.0070 0.0070 0.0070 0.0070 0.0067 0.0009 0.0000 0.0040 0.1316 0.0066 0.0065 0.0005 0.0070 0.0070 0.0070 0.0000
433-AH 0.0080 0.0130 0.0170 0.0190 0.0190 0.0159 0.0035 0.0060 0.0110 0.2232 0.0154 0.0149 0.0029 0.0080 0.0190 0.0159 0.0035
434-AH 0.0090 0.0112 0.0130 0.0130 0.0130 0.0120 0.0014 0.0018 0.0040 0.1186 0.0119 0.0118 0.0011 0.0090 0.0130 0.0120 0.0014
435-AH 0.0060 0.0120 0.0130 0.0177 0.0200 0.0145 0.0041 0.0057 0.0140 0.2803 0.0139 0.0132 0.0036 0.0060 0.0200 0.0145 0.0041
436-AH 0.0000 0.0020 0.0080 0.0115 0.0120 0.0066 0.0047 0.0095 0.0120 0.7121 0.0024 0.0001 0.0043 0.0000 0.0120 0.0066 0.0047
437-AH 0.0070 0.0080 0.0080 0.0080 0.0080 0.0079 0.0003 0.0000 0.0010 0.0337 0.0079 0.0079 0.0001 0.0080 0.0080 0.0080 0.0000
438-AH 0.0170 0.0253 0.0280 0.0290 0.0300 0.0264 0.0036 0.0037 0.0130 0.1361 0.0262 0.0258 0.0027 0.0220 0.0300 0.0272 0.0024
439-AH 0.0000 0.0020 0.0030 0.0050 0.0080 0.0033 0.0021 0.0030 0.0080 0.6507 0.0020 0.0001 0.0018 0.0000 0.0080 0.0033 0.0021
440-AH 0.0360 0.0395 0.0420 0.0420 0.0420 0.0409 0.0017 0.0025 0.0060 0.0428 0.0408 0.0408 0.0014 0.0360 0.0420 0.0409 0.0017
441-AH 0.0000 0.0043 0.0070 0.0070 0.0070 0.0055 0.0025 0.0028 0.0070 0.4506 0.0039 0.0003 0.0021 0.0010 0.0070 0.0057 0.0023
442-AH 0.0020 0.0043 0.0050 0.0050 0.0050 0.0046 0.0008 0.0007 0.0030 0.1860 0.0045 0.0043 0.0007 0.0040 0.0050 0.0049 0.0003
443-AH 0.0030 0.0080 0.0100 0.0100 0.0100 0.0087 0.0022 0.0020 0.0070 0.2546 0.0083 0.0077 0.0017 0.0070 0.0100 0.0095 0.0009
444-AH 0.0110 0.0150 0.0160 0.0170 0.0170 0.0157 0.0016 0.0020 0.0060 0.0990 0.0157 0.0156 0.0012 0.0130 0.0170 0.0159 0.0013
445-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
446-AH 0.0040 0.0080 0.0120 0.0160 0.0190 0.0119 0.0047 0.0080 0.0150 0.3961 0.0107 0.0094 0.0039 0.0040 0.0190 0.0119 0.0047
447-AH 0.0090 0.0100 0.0100 0.0100 0.0100 0.0099 0.0003 0.0000 0.0010 0.0269 0.0099 0.0099 0.0001 0.0100 0.0100 0.0100 0.0000
448-AH 0.0010 0.0090 0.0090 0.0090 0.0100 0.0084 0.0021 0.0000 0.0090 0.2461 0.0079 0.0065 0.0014 0.0090 0.0090 0.0090 0.0000
449-AH 0.0040 0.0060 0.0090 0.0100 0.0100 0.0081 0.0023 0.0040 0.0060 0.2827 0.0077 0.0073 0.0020 0.0040 0.0100 0.0081 0.0023
450-AH 0.0090 0.0200 0.0230 0.0240 0.0240 0.0211 0.0043 0.0040 0.0150 0.2024 0.0205 0.0196 0.0030 0.0180 0.0240 0.0225 0.0018
79
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Ad−Hoc Monolingual Hungarian Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
unine [Experiment UNINEHU4; MAP 47.73%; Pooled]
opentext [Experiment OTHU07TDE; MAP 43.34%; Not Pooled]
90% alicante [Experiment IRNHUEXP2N; MAP 40.09%; Not Pooled]
jhu−apl [Experiment APLMOHUTD5; MAP 39.91%; Pooled]
daedalus [Experiment HUFSHU2S; MAP 34.99%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
unine [Experiment UNINEHU4; MAP 47.73%; Pooled]
opentext [Experiment OTHU07TDE; MAP 43.34%; Not Pooled]
alicante [Experiment IRNHUEXP2N; MAP 40.09%; Not Pooled]
0.8
jhu−apl [Experiment APLMOHUTD5; MAP 39.91%; Pooled]
daedalus [Experiment HUFSHU2S; MAP 34.99%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Monolingual Hungarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
unine [Experiment UNINEHU4; MAP 47.73%; Pooled]
opentext [Experiment OTHU07TDE; MAP 43.34%; Not Pooled]
alicante [Experiment IRNHUEXP2N; MAP 40.09%; Not Pooled]
0.8
jhu−apl [Experiment APLMOHUTD5; MAP 39.91%; Pooled]
daedalus [Experiment HUFSHU2S; MAP 34.99%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
80
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Ad−Hoc Monolingual Hungarian Task − Box Plot of the Topics
unine [Experiment UNINEHU4; MAP 47.73%; Pooled]
unine [Experiment UNINEHU2; MAP 47.16%; Pooled]
unine [Experiment UNINEHU1; MAP 46.06%; Pooled]
unine [Experiment UNINEHU3; MAP 45.86%; Not Pooled]
opentext [Experiment OTHU07TDE; MAP 43.34%; Not Pooled]
alicante [Experiment IRNHUEXP2N; MAP 40.09%; Not Pooled]
jhu−apl [Experiment APLMOHUTD5; MAP 39.91%; Pooled]
alicante [Experiment IRNHUEXP3; MAP 39.42%; Pooled]
jhu−apl [Experiment APLMOHUTDN4; MAP 39.33%; Pooled]
Experiments
alicante [Experiment IRNHUEXP2; MAP 38.94%; Not Pooled]
opentext [Experiment OTHU07TD; MAP 38.48%; Pooled]
jhu−apl [Experiment APLMOHUTD4; MAP 38.33%; Not Pooled]
daedalus [Experiment HUFSHU2S; MAP 34.99%; Pooled]
alicante [Experiment IRNHUNEXP; MAP 33.90%; Not Pooled]
opentext [Experiment OTHU07T; MAP 32.91%; Pooled]
opentext [Experiment OTHU07TDNZ; MAP 30.53%; Pooled]
isi [Experiment YASSHUN; MAP 17.12%; Pooled]
isi [Experiment YASSTDHUN; MAP 17.12%; Pooled]
isi [Experiment ISIDWLDHSTEMGZ; MAP 15.66%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
81
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
10.2455/TUKEY_T_TEST.D46DC11E6C986891646E633B0E27104C
Ad−Hoc Monolingual Hungarian Task − Tukey T test with "top group" highlighted
UNINEHU4
UNINEHU2
UNINEHU1
UNINEHU3
OTHU07TDE
APLMOHUTDN4
APLMOHUTD5
IRNHUEXP2N
OTHU07TD
Experiments
IRNHUEXP3
APLMOHUTD4
IRNHUEXP2
HUFSHU2S
IRNHUNEXP
OTHU07T
OTHU07TDNZ
YASSTDHUN
YASSHUN
ISIDWLDHSTEMGZ
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
arcsin(sqrt(Average Precsion))
82
83
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Ad−Hoc Monolingual Hungarian Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
unine [Experiment UNINEHU4; R−Prec 45.74%; Pooled]
opentext [Experiment OTHU07TDE; R−Prec 43.51%; Not Pooled]
90% alicante [Experiment IRNHUEXP2N; R−Prec 38.23%; Not Pooled]
jhu−apl [Experiment APLMOHUTD5; R−Prec 39.54%; Pooled]
daedalus [Experiment HUFSHU2S; R−Prec 36.20%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
unine [Experiment UNINEHU4; R−Prec 45.74%; Pooled]
opentext [Experiment OTHU07TDE; R−Prec 43.51%; Not Pooled]
alicante [Experiment IRNHUEXP2N; R−Prec 38.23%; Not Pooled]
0.8
jhu−apl [Experiment APLMOHUTD5; R−Prec 39.54%; Pooled]
daedalus [Experiment HUFSHU2S; R−Prec 36.20%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Monolingual Hungarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
unine [Experiment UNINEHU4; R−Prec 45.74%; Pooled]
opentext [Experiment OTHU07TDE; R−Prec 43.51%; Not Pooled]
alicante [Experiment IRNHUEXP2N; R−Prec 38.23%; Not Pooled]
0.8
jhu−apl [Experiment APLMOHUTD5; R−Prec 39.54%; Pooled]
daedalus [Experiment HUFSHU2S; R−Prec 36.20%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
84
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Ad−Hoc Monolingual Hungarian Task − Box Plot of the Topics
unine [Experiment UNINEHU4; R−Prec 45.74%; Pooled]
unine [Experiment UNINEHU2; R−Prec 45.29%; Pooled]
unine [Experiment UNINEHU1; R−Prec 43.54%; Pooled]
opentext [Experiment OTHU07TDE; R−Prec 43.51%; Not Pooled]
unine [Experiment UNINEHU3; R−Prec 42.89%; Not Pooled]
jhu−apl [Experiment APLMOHUTD5; R−Prec 39.54%; Pooled]
alicante [Experiment IRNHUEXP2; R−Prec 39.30%; Not Pooled]
opentext [Experiment OTHU07TD; R−Prec 38.73%; Pooled]
jhu−apl [Experiment APLMOHUTD4; R−Prec 38.72%; Not Pooled]
Experiments
alicante [Experiment IRNHUEXP3; R−Prec 38.72%; Pooled]
alicante [Experiment IRNHUEXP2N; R−Prec 38.23%; Not Pooled]
jhu−apl [Experiment APLMOHUTDN4; R−Prec 36.93%; Pooled]
daedalus [Experiment HUFSHU2S; R−Prec 36.20%; Pooled]
alicante [Experiment IRNHUNEXP; R−Prec 35.83%; Not Pooled]
opentext [Experiment OTHU07T; R−Prec 33.97%; Pooled]
opentext [Experiment OTHU07TDNZ; R−Prec 30.99%; Pooled]
isi [Experiment YASSHUN; R−Prec 19.74%; Pooled]
isi [Experiment YASSTDHUN; R−Prec 19.74%; Pooled]
isi [Experiment ISIDWLDHSTEMGZ; R−Prec 18.01%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
85
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Ad−Hoc Monolingual Hungarian Task − Tukey T test with "top group" highlighted
UNINEHU4
UNINEHU2
UNINEHU1
OTHU07TDE
UNINEHU3
APLMOHUTD5
OTHU07TD
APLMOHUTD4
IRNHUEXP2
Experiments
IRNHUEXP3
IRNHUEXP2N
APLMOHUTDN4
HUFSHU2S
IRNHUNEXP
OTHU07T
OTHU07TDNZ
YASSTDHUN
YASSHUN
ISIDWLDHSTEMGZ
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
arcsin(sqrt(R−Precision))
86
87
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 14.00 22.00 26.00 27.75 29.00 24.16 4.83 5.75 15.00 0.20 23.60 22.94 3.80 14.00 29.00 24.16 4.83
402-AH 16.00 18.00 20.00 21.00 21.00 19.47 1.78 3.00 5.00 0.09 19.39 19.31 1.56 16.00 21.00 19.47 1.78
403-AH 6.00 10.00 11.00 12.00 12.00 10.74 1.48 2.00 6.00 0.14 10.62 10.46 1.07 9.00 12.00 11.00 0.97
404-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
405-AH 2.00 3.00 4.00 4.00 4.00 3.53 0.77 1.00 2.00 0.22 3.43 3.30 0.65 2.00 4.00 3.53 0.77
406-AH 20.00 26.00 28.00 29.00 29.00 26.95 2.44 3.00 9.00 0.09 26.83 26.71 1.96 24.00 29.00 27.33 1.81
407-AH 7.00 8.00 8.00 8.00 8.00 7.79 0.42 0.00 1.00 0.05 7.78 7.77 0.33 8.00 8.00 8.00 0.00
408-AH 8.00 24.00 30.00 31.00 31.00 25.84 6.75 7.00 23.00 0.26 24.60 22.74 5.24 20.00 31.00 27.71 3.96
409-AH 3.00 4.00 4.00 4.00 4.00 3.89 0.32 0.00 1.00 0.08 3.88 3.86 0.19 4.00 4.00 4.00 0.00
410-AH 21.00 22.00 22.00 22.00 22.00 21.84 0.37 0.00 1.00 0.02 21.84 21.84 0.27 22.00 22.00 22.00 0.00
411-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
412-AH 14.00 22.25 30.00 34.00 35.00 27.95 7.34 11.75 21.00 0.26 26.86 25.62 6.28 14.00 35.00 27.95 7.34
413-AH 20.00 23.00 24.00 24.00 24.00 23.21 1.36 1.00 4.00 0.06 23.17 23.13 1.00 23.00 24.00 23.75 0.45
414-AH 2.00 3.00 3.00 4.00 4.00 3.37 0.60 1.00 2.00 0.18 3.31 3.26 0.53 2.00 4.00 3.37 0.60
415-AH 48.00 57.00 63.00 66.00 66.00 61.47 5.35 9.00 18.00 0.09 61.24 60.99 4.35 48.00 66.00 61.47 5.35
416-AH 11.00 11.00 11.00 11.00 11.00 11.00 0.00 0.00 0.00 0.00 11.00 11.00 0.00 11.00 11.00 11.00 0.00
417-AH 2.00 11.00 11.00 11.00 11.00 9.63 3.13 0.00 9.00 0.33 8.67 7.00 2.20 11.00 11.00 11.00 0.00
418-AH 19.00 19.00 19.00 19.00 19.00 19.00 0.00 0.00 0.00 0.00 19.00 19.00 0.00 19.00 19.00 19.00 0.00
419-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
420-AH 12.00 17.25 19.00 20.75 21.00 18.74 2.31 3.50 9.00 0.12 18.58 18.40 1.78 12.00 21.00 18.74 2.31
421-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
422-AH 17.00 42.25 49.00 52.00 57.00 44.84 10.82 9.75 40.00 0.24 43.16 40.88 8.01 37.00 57.00 48.81 5.43
423-AH 4.00 5.00 5.00 5.00 5.00 4.84 0.37 0.00 1.00 0.08 4.83 4.81 0.27 5.00 5.00 5.00 0.00
424-AH 15.00 17.00 18.00 18.00 18.00 17.37 0.83 1.00 3.00 0.05 17.35 17.33 0.66 16.00 18.00 17.50 0.62
425-AH 6.00 9.00 13.00 14.00 14.00 11.05 3.27 5.00 8.00 0.30 10.51 9.92 2.89 6.00 14.00 11.05 3.27
426-AH 0.00 7.00 8.00 8.00 8.00 6.89 2.11 1.00 8.00 0.31 3.51 0.00 1.43 6.00 8.00 7.69 0.60
427-AH 12.00 14.00 14.00 14.00 14.00 13.68 0.75 0.00 2.00 0.05 13.66 13.64 0.53 14.00 14.00 14.00 0.00
428-AH 3.00 9.00 10.00 13.00 14.00 10.37 3.42 4.00 11.00 0.33 9.64 8.65 2.81 3.00 14.00 10.37 3.42
429-AH 6.00 9.25 10.00 11.75 13.00 10.26 1.73 2.50 7.00 0.17 10.11 9.93 1.33 6.00 13.00 10.26 1.73
430-AH 1.00 6.25 9.00 9.00 9.00 7.47 2.22 2.75 8.00 0.30 6.87 5.56 1.77 5.00 9.00 7.83 1.62
431-AH 17.00 26.50 33.00 33.00 33.00 29.42 5.31 6.50 16.00 0.18 28.88 28.23 4.27 17.00 33.00 29.42 5.31
432-AH 8.00 12.00 12.00 12.00 12.00 11.68 1.00 0.00 4.00 0.09 11.63 11.57 0.57 12.00 12.00 12.00 0.00
433-AH 34.00 42.25 43.00 43.00 43.00 41.58 3.10 0.75 9.00 0.07 41.46 41.33 2.18 42.00 43.00 42.88 0.34
434-AH 14.00 24.00 24.00 24.00 24.00 22.84 2.85 0.00 10.00 0.12 22.63 22.37 1.95 24.00 24.00 24.00 0.00
435-AH 11.00 16.25 23.00 29.75 30.00 22.21 7.05 13.50 19.00 0.32 21.02 19.76 6.20 11.00 30.00 22.21 7.05
436-AH 0.00 0.00 0.00 1.00 4.00 0.89 1.29 1.00 4.00 1.44 0.00 0.00 0.94 0.00 2.00 0.53 0.72
437-AH 25.00 26.00 26.00 26.00 26.00 25.84 0.37 0.00 1.00 0.01 25.84 25.84 0.27 26.00 26.00 26.00 0.00
438-AH 13.00 20.25 28.00 33.00 34.00 25.58 7.95 12.75 21.00 0.31 24.19 22.63 6.74 13.00 34.00 25.58 7.95
439-AH 1.00 1.50 6.00 7.00 7.00 4.74 2.49 5.50 6.00 0.53 3.72 2.56 2.15 1.00 7.00 4.74 2.49
440-AH 9.00 13.00 13.00 13.00 13.00 12.53 1.26 0.00 4.00 0.10 12.45 12.37 0.80 13.00 13.00 13.00 0.00
441-AH 15.00 15.00 15.00 15.00 15.00 15.00 0.00 0.00 0.00 0.00 15.00 15.00 0.00 15.00 15.00 15.00 0.00
442-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
443-AH 7.00 13.00 16.00 26.75 27.00 18.32 7.21 13.75 20.00 0.39 16.85 15.36 6.47 7.00 27.00 18.32 7.21
444-AH 13.00 14.00 16.00 16.00 16.00 15.21 1.13 2.00 3.00 0.07 15.17 15.12 1.00 13.00 16.00 15.21 1.13
445-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
446-AH 0.00 1.25 3.00 5.00 6.00 3.11 2.13 3.75 6.00 0.69 0.43 0.00 1.81 0.00 6.00 3.11 2.13
447-AH 23.00 23.00 23.00 23.00 23.00 23.00 0.00 0.00 0.00 0.00 23.00 23.00 0.00 23.00 23.00 23.00 0.00
448-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
449-AH 12.00 27.00 27.00 27.00 27.00 25.21 4.26 0.00 15.00 0.17 24.74 24.10 2.91 27.00 27.00 27.00 0.00
450-AH 7.00 14.50 24.00 26.00 26.00 20.05 6.88 11.50 19.00 0.34 18.60 16.86 6.04 7.00 26.00 20.05 6.88
88
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0417 0.1293 0.2236 0.3983 0.4909 0.2459 0.1565 0.2690 0.4492 0.6366 0.1884 0.1323 0.1339 0.0417 0.4909 0.2459 0.1565
402-AH 0.2575 0.4764 0.5401 0.5849 0.6502 0.5013 0.1131 0.1085 0.3926 0.2256 0.4864 0.4684 0.0860 0.4185 0.6502 0.5424 0.0621
403-AH 0.0052 0.0200 0.0433 0.1670 0.2347 0.0847 0.0803 0.1471 0.2295 0.9477 0.0501 0.0279 0.0694 0.0052 0.2347 0.0847 0.0803
404-AH 0.0501 0.2128 0.2357 0.2776 0.3575 0.2268 0.0877 0.0648 0.3073 0.3868 0.2010 0.1625 0.0635 0.1736 0.3575 0.2583 0.0504
405-AH 0.0125 0.2147 0.2808 0.3165 0.4565 0.2624 0.0925 0.1018 0.4441 0.3523 0.2276 0.1267 0.0663 0.1509 0.4565 0.2763 0.0719
406-AH 0.0934 0.3346 0.4601 0.5490 0.6489 0.4172 0.1596 0.2144 0.5555 0.3825 0.3786 0.3271 0.1301 0.0934 0.6489 0.4172 0.1596
407-AH 0.0382 0.1993 0.5120 0.7232 0.8897 0.4978 0.2903 0.5238 0.8515 0.5832 0.3486 0.1748 0.2361 0.0382 0.8897 0.4978 0.2903
408-AH 0.1641 0.3309 0.7255 0.8778 0.9253 0.6002 0.2865 0.5469 0.7613 0.4774 0.5190 0.4303 0.2643 0.1641 0.9253 0.6002 0.2865
409-AH 0.1747 0.2039 0.2418 0.2977 0.4723 0.2577 0.0736 0.0938 0.2976 0.2856 0.2493 0.2420 0.0555 0.1747 0.3565 0.2458 0.0537
410-AH 0.3814 0.5912 0.7844 0.8175 0.8536 0.7036 0.1755 0.2263 0.4723 0.2495 0.6776 0.6464 0.1454 0.3814 0.8536 0.7036 0.1755
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0212 0.1054 0.2059 0.2826 0.3350 0.1915 0.1044 0.1772 0.3139 0.5451 0.1519 0.1031 0.0923 0.0212 0.3350 0.1915 0.1044
413-AH 0.2241 0.3982 0.4682 0.5322 0.5640 0.4559 0.1067 0.1340 0.3399 0.2340 0.4408 0.4219 0.0817 0.2241 0.5640 0.4559 0.1067
414-AH 0.0159 0.3286 0.5638 0.7500 0.7661 0.5249 0.2707 0.4214 0.7502 0.5158 0.3855 0.1599 0.2267 0.0159 0.7661 0.5249 0.2707
415-AH 0.2104 0.2911 0.4291 0.4719 0.5076 0.3889 0.1014 0.1808 0.2971 0.2607 0.3748 0.3594 0.0903 0.2104 0.5076 0.3889 0.1014
416-AH 0.1688 0.2774 0.4126 0.4514 0.6730 0.3897 0.1332 0.1741 0.5042 0.3419 0.3654 0.3384 0.1009 0.1688 0.6730 0.3897 0.1332
417-AH 0.0010 0.0179 0.0469 0.0634 0.3880 0.0861 0.1208 0.0455 0.3869 1.4029 0.0329 0.0075 0.0873 0.0010 0.1296 0.0370 0.0320
418-AH 0.4884 0.5513 0.6421 0.6685 0.7550 0.6127 0.0755 0.1172 0.2666 0.1232 0.6082 0.6035 0.0645 0.4884 0.7550 0.6127 0.0755
419-AH 0.0090 0.2111 0.2436 0.3500 0.5087 0.2555 0.1288 0.1389 0.4997 0.5039 0.1955 0.0886 0.0975 0.0090 0.5087 0.2555 0.1288
420-AH 0.1343 0.1926 0.3527 0.4390 0.5077 0.3196 0.1350 0.2464 0.3734 0.4225 0.2900 0.2611 0.1254 0.1343 0.5077 0.3196 0.1350
421-AH 0.2528 0.3777 0.4968 0.6310 0.8364 0.5188 0.1632 0.2533 0.5836 0.3145 0.4929 0.4655 0.1331 0.2528 0.8364 0.5188 0.1632
422-AH 0.0073 0.0771 0.2016 0.3096 0.4535 0.2124 0.1451 0.2325 0.4462 0.6831 0.1417 0.0616 0.1172 0.0073 0.4535 0.2124 0.1451
423-AH 0.2330 0.2550 0.2708 0.2976 0.5050 0.3030 0.0823 0.0426 0.2720 0.2715 0.2946 0.2880 0.0586 0.2330 0.3429 0.2707 0.0266
424-AH 0.2075 0.3290 0.5479 0.7357 0.7733 0.5321 0.2052 0.4067 0.5658 0.3857 0.4899 0.4462 0.1864 0.2075 0.7733 0.5321 0.2052
425-AH 0.0476 0.0998 0.1295 0.1645 0.2301 0.1313 0.0541 0.0647 0.1825 0.4121 0.1189 0.1051 0.0423 0.0476 0.2301 0.1313 0.0541
426-AH 0.0000 0.0186 0.0339 0.0425 0.0761 0.0316 0.0188 0.0239 0.0761 0.5940 0.0180 0.0002 0.0145 0.0000 0.0761 0.0316 0.0188
427-AH 0.1059 0.1857 0.2131 0.3055 0.3999 0.2427 0.0863 0.1198 0.2941 0.3555 0.2285 0.2147 0.0710 0.1059 0.3999 0.2427 0.0863
428-AH 0.0021 0.0276 0.4513 0.5229 0.7086 0.3412 0.2589 0.4953 0.7065 0.7587 0.1295 0.0149 0.2328 0.0021 0.7086 0.3412 0.2589
429-AH 0.0310 0.0961 0.1253 0.2057 0.3828 0.1566 0.0988 0.1096 0.3518 0.6310 0.1261 0.0956 0.0764 0.0310 0.2990 0.1440 0.0846
430-AH 0.0028 0.0833 0.1532 0.2104 0.3113 0.1498 0.0947 0.1271 0.3085 0.6320 0.0989 0.0313 0.0734 0.0028 0.3113 0.1498 0.0947
431-AH 0.0190 0.2557 0.5092 0.5646 0.6359 0.4029 0.2126 0.3089 0.6169 0.5276 0.2904 0.1298 0.1852 0.0190 0.6359 0.4029 0.2126
432-AH 0.1235 0.2489 0.3064 0.3308 0.3946 0.2947 0.0649 0.0819 0.2710 0.2202 0.2863 0.2755 0.0502 0.2203 0.3946 0.3042 0.0514
433-AH 0.2103 0.5705 0.8121 0.9038 0.9386 0.7108 0.2595 0.3332 0.7283 0.3651 0.6405 0.5430 0.2100 0.2103 0.9386 0.7108 0.2595
434-AH 0.0908 0.4910 0.8071 0.8997 0.9361 0.6660 0.2884 0.4086 0.8453 0.4330 0.5574 0.3930 0.2340 0.0908 0.9361 0.6660 0.2884
435-AH 0.0133 0.1033 0.1684 0.2599 0.3551 0.1788 0.1077 0.1566 0.3418 0.6024 0.1291 0.0662 0.0839 0.0133 0.3551 0.1788 0.1077
436-AH 0.0000 0.0000 0.0000 0.0021 0.0601 0.0065 0.0162 0.0021 0.0601 2.4793 0.0002 0.0000 0.0099 0.0000 0.0039 0.0006 0.0011
437-AH 0.3253 0.4934 0.5956 0.7500 0.8294 0.6099 0.1484 0.2567 0.5040 0.2434 0.5918 0.5728 0.1256 0.3253 0.8294 0.6099 0.1484
438-AH 0.0080 0.0979 0.2026 0.4005 0.4788 0.2314 0.1663 0.3025 0.4708 0.7186 0.1428 0.0495 0.1405 0.0080 0.4788 0.2314 0.1663
439-AH 0.0006 0.0086 0.0566 0.1494 0.1824 0.0752 0.0690 0.1408 0.1818 0.9173 0.0270 0.0038 0.0579 0.0006 0.1824 0.0752 0.0690
440-AH 0.0517 0.0929 0.2690 0.5535 0.6634 0.3176 0.2361 0.4606 0.6117 0.7432 0.2217 0.1473 0.2128 0.0517 0.6634 0.3176 0.2361
441-AH 0.0536 0.8418 0.9201 0.9812 0.9914 0.7986 0.2921 0.1394 0.9378 0.3657 0.6809 0.4249 0.2165 0.8356 0.9914 0.9357 0.0512
442-AH 0.1129 0.7801 0.8700 0.9165 0.9536 0.7981 0.2039 0.1364 0.8407 0.2555 0.7441 0.6139 0.1384 0.6788 0.9536 0.8711 0.0719
443-AH 0.0207 0.0327 0.1546 0.3643 0.6166 0.2216 0.2144 0.3316 0.5959 0.9677 0.1243 0.0658 0.1765 0.0207 0.6166 0.2216 0.2144
444-AH 0.0348 0.1816 0.2734 0.3572 0.4854 0.2634 0.1213 0.1757 0.4506 0.4605 0.2236 0.1662 0.0930 0.0348 0.4854 0.2634 0.1213
445-AH 0.5000 0.6256 0.8750 0.9500 1.0000 0.8061 0.1867 0.3244 0.5000 0.2316 0.7835 0.7594 0.1651 0.5000 1.0000 0.8061 0.1867
446-AH 0.0000 0.0007 0.0022 0.0108 0.0527 0.0087 0.0133 0.0101 0.0527 1.5300 0.0016 0.0001 0.0092 0.0000 0.0235 0.0050 0.0066
447-AH 0.5404 0.8383 0.9519 0.9687 0.9746 0.8800 0.1379 0.1303 0.4342 0.1567 0.8677 0.8530 0.1066 0.7918 0.9746 0.9335 0.0562
448-AH 0.0874 0.6062 0.6838 0.7308 0.7500 0.5891 0.2295 0.1246 0.6626 0.3895 0.4929 0.3301 0.1634 0.5393 0.7500 0.6830 0.0603
449-AH 0.0437 0.3703 0.5900 0.6212 0.6522 0.4771 0.2013 0.2509 0.6085 0.4220 0.3951 0.2570 0.1621 0.0437 0.6522 0.4771 0.2013
450-AH 0.0188 0.0409 0.0659 0.1086 0.1517 0.0778 0.0424 0.0677 0.1329 0.5449 0.0665 0.0558 0.0369 0.0188 0.1517 0.0778 0.0424
89
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1034 0.1466 0.3103 0.4397 0.5517 0.3067 0.1542 0.2931 0.4483 0.5026 0.2679 0.2315 0.1272 0.1034 0.5517 0.3067 0.1542
402-AH 0.3810 0.4762 0.5238 0.5714 0.6667 0.5313 0.0782 0.0952 0.2857 0.1472 0.5256 0.5195 0.0631 0.3810 0.6667 0.5313 0.0782
403-AH 0.0000 0.0000 0.0833 0.1667 0.2500 0.1053 0.0956 0.1667 0.2500 0.9081 0.0068 0.0000 0.0803 0.0000 0.2500 0.1053 0.0956
404-AH 0.0000 0.2222 0.2222 0.2222 0.3333 0.2105 0.1041 0.0000 0.3333 0.4943 0.0498 0.0001 0.0665 0.2222 0.2222 0.2222 0.0000
405-AH 0.0000 0.2500 0.2500 0.2500 0.5000 0.2895 0.1254 0.0000 0.5000 0.4331 0.1698 0.0002 0.0886 0.2500 0.2500 0.2500 0.0000
406-AH 0.2069 0.3103 0.4138 0.5345 0.6897 0.4356 0.1413 0.2241 0.4828 0.3245 0.4137 0.3922 0.1137 0.2069 0.6897 0.4356 0.1413
407-AH 0.0000 0.2188 0.6250 0.6250 0.7500 0.4803 0.2611 0.4062 0.7500 0.5436 0.1506 0.0001 0.2133 0.0000 0.7500 0.4803 0.2611
408-AH 0.1613 0.3629 0.7097 0.7661 0.8387 0.5756 0.2322 0.4032 0.6774 0.4034 0.5189 0.4513 0.2091 0.1613 0.8387 0.5756 0.2322
409-AH 0.2500 0.2500 0.2500 0.2500 0.5000 0.3026 0.1047 0.0000 0.2500 0.3460 0.2893 0.2794 0.0831 0.2500 0.2500 0.2500 0.0000
410-AH 0.3182 0.5114 0.7727 0.7727 0.7727 0.6627 0.1648 0.2614 0.4545 0.2487 0.6382 0.6088 0.1383 0.3182 0.7727 0.6627 0.1648
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0811 0.1689 0.2432 0.3176 0.3784 0.2404 0.0868 0.1486 0.2973 0.3612 0.2225 0.2018 0.0716 0.0811 0.3784 0.2404 0.0868
413-AH 0.2917 0.4688 0.5000 0.5417 0.5833 0.4868 0.0943 0.0729 0.2917 0.1936 0.4765 0.4643 0.0720 0.3750 0.5833 0.5208 0.0527
414-AH 0.0000 0.2500 0.5000 0.7500 0.7500 0.5000 0.2887 0.5000 0.7500 0.5774 0.0984 0.0001 0.2368 0.0000 0.7500 0.5000 0.2887
415-AH 0.1818 0.3939 0.4697 0.4962 0.5606 0.4338 0.1004 0.1023 0.3788 0.2314 0.4196 0.4010 0.0766 0.2424 0.5606 0.4478 0.0820
416-AH 0.1818 0.2955 0.4545 0.5455 0.6364 0.4258 0.1455 0.2500 0.4545 0.3417 0.3987 0.3686 0.1259 0.1818 0.6364 0.4258 0.1455
417-AH 0.0000 0.0000 0.0000 0.1591 0.3636 0.0813 0.1170 0.1591 0.3636 1.4378 0.0006 0.0000 0.0942 0.0000 0.3636 0.0813 0.1170
418-AH 0.4737 0.4868 0.5263 0.5789 0.6316 0.5402 0.0522 0.0921 0.1579 0.0966 0.5378 0.5354 0.0437 0.4737 0.6316 0.5402 0.0522
419-AH 0.0000 0.0000 0.0000 0.5000 0.5000 0.1842 0.2478 0.5000 0.5000 1.3452 0.0005 0.0000 0.2327 0.0000 0.5000 0.1842 0.2478
420-AH 0.1429 0.2381 0.4286 0.4762 0.6190 0.3759 0.1571 0.2381 0.4762 0.4178 0.3408 0.3043 0.1406 0.1429 0.6190 0.3759 0.1571
421-AH 0.2222 0.4444 0.4444 0.5556 0.7778 0.4854 0.1346 0.1111 0.5556 0.2773 0.4654 0.4420 0.0985 0.4444 0.6667 0.5000 0.0811
422-AH 0.0339 0.1356 0.2881 0.3983 0.4915 0.2739 0.1538 0.2627 0.4576 0.5617 0.2157 0.1493 0.1310 0.0339 0.4915 0.2739 0.1538
423-AH 0.2000 0.2000 0.2000 0.2000 0.4000 0.2421 0.0838 0.0000 0.2000 0.3460 0.2314 0.2235 0.0665 0.2000 0.2000 0.2000 0.0000
424-AH 0.2222 0.4444 0.5556 0.7083 0.7778 0.5585 0.1712 0.2639 0.5556 0.3066 0.5286 0.4935 0.1434 0.2222 0.7778 0.5585 0.1712
425-AH 0.1429 0.1607 0.2143 0.2679 0.2857 0.2143 0.0532 0.1071 0.1429 0.2485 0.2077 0.2011 0.0376 0.1429 0.2857 0.2143 0.0532
426-AH 0.0000 0.0000 0.0000 0.0000 0.1250 0.0132 0.0394 0.0000 0.1250 2.9954 0.0000 0.0000 0.0235 0.0000 0.0000 0.0000 0.0000
427-AH 0.0714 0.1607 0.2143 0.3393 0.5000 0.2519 0.1048 0.1786 0.4286 0.4160 0.2297 0.2053 0.0847 0.0714 0.5000 0.2519 0.1048
428-AH 0.0000 0.0179 0.5000 0.5714 0.6429 0.3647 0.2745 0.5536 0.6429 0.7527 0.0255 0.0000 0.2537 0.0000 0.6429 0.3647 0.2745
429-AH 0.0769 0.0962 0.1538 0.2115 0.3846 0.1619 0.0765 0.1154 0.3077 0.4722 0.1465 0.1325 0.0524 0.0769 0.2308 0.1496 0.0558
430-AH 0.0000 0.1111 0.1111 0.3056 0.3333 0.1579 0.1246 0.1944 0.3333 0.7891 0.0225 0.0000 0.1059 0.0000 0.3333 0.1579 0.1246
431-AH 0.0000 0.2727 0.4848 0.5379 0.5758 0.3876 0.1817 0.2652 0.5758 0.4688 0.2082 0.0002 0.1516 0.0000 0.5758 0.3876 0.1817
432-AH 0.1667 0.2500 0.2500 0.2500 0.4167 0.2763 0.0683 0.0000 0.2500 0.2473 0.2693 0.2632 0.0503 0.2500 0.2500 0.2500 0.0000
433-AH 0.2791 0.5698 0.7674 0.8314 0.8605 0.6744 0.2138 0.2616 0.5814 0.3171 0.6298 0.5730 0.1738 0.2791 0.8605 0.6744 0.2138
434-AH 0.1667 0.5312 0.7083 0.7917 0.8333 0.6404 0.2197 0.2604 0.6667 0.3431 0.5862 0.5101 0.1764 0.1667 0.8333 0.6404 0.2197
435-AH 0.0333 0.2333 0.3000 0.3667 0.4333 0.2825 0.1254 0.1333 0.4000 0.4440 0.2366 0.1672 0.0994 0.0333 0.4333 0.2825 0.1254
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.3462 0.5096 0.5769 0.6538 0.7308 0.5830 0.1112 0.1442 0.3846 0.1908 0.5719 0.5595 0.0874 0.3462 0.7308 0.5830 0.1112
438-AH 0.0000 0.2132 0.2647 0.4044 0.5000 0.2740 0.1474 0.1912 0.5000 0.5380 0.0960 0.0001 0.1108 0.0000 0.5000 0.2740 0.1474
439-AH 0.0000 0.0000 0.1429 0.1429 0.1429 0.0902 0.0708 0.1429 0.1429 0.7847 0.0042 0.0000 0.0665 0.0000 0.1429 0.0902 0.0708
440-AH 0.0769 0.0962 0.2308 0.5385 0.6154 0.3158 0.2219 0.4423 0.5385 0.7027 0.2332 0.1681 0.2037 0.0769 0.6154 0.3158 0.2219
441-AH 0.0667 0.7667 0.8667 0.9333 0.9333 0.7684 0.2689 0.1667 0.8667 0.3499 0.6709 0.4631 0.2009 0.6000 0.9333 0.8750 0.0907
442-AH 0.1111 0.6944 0.7778 0.8889 0.8889 0.7602 0.1934 0.1944 0.7778 0.2544 0.7103 0.5909 0.1311 0.5556 0.8889 0.7963 0.1159
443-AH 0.0370 0.1204 0.2222 0.4259 0.5556 0.2612 0.1800 0.3056 0.5185 0.6889 0.1969 0.1359 0.1506 0.0370 0.5556 0.2612 0.1800
444-AH 0.0000 0.2500 0.3125 0.3750 0.4375 0.2763 0.1184 0.1250 0.4375 0.4286 0.1541 0.0002 0.0880 0.0625 0.4375 0.2917 0.1005
445-AH 0.2500 0.5000 0.7500 0.7500 1.0000 0.6711 0.2365 0.2500 0.7500 0.3524 0.6245 0.5700 0.1967 0.2500 1.0000 0.6711 0.2365
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.4348 0.7826 0.8261 0.8696 0.8696 0.7826 0.1272 0.0870 0.4348 0.1625 0.7705 0.7554 0.0915 0.6957 0.8696 0.8315 0.0499
448-AH 0.0000 0.5000 0.5000 0.7500 0.7500 0.5395 0.2670 0.2500 0.7500 0.4949 0.1098 0.0001 0.1994 0.5000 0.7500 0.6406 0.1281
449-AH 0.0741 0.3611 0.5185 0.5556 0.6667 0.4600 0.1630 0.1944 0.5926 0.3543 0.4142 0.3377 0.1268 0.0741 0.6667 0.4600 0.1630
450-AH 0.0000 0.0481 0.1154 0.1538 0.2308 0.1073 0.0609 0.1058 0.2308 0.5678 0.0603 0.0002 0.0499 0.0000 0.2308 0.1073 0.0609
90
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0511 0.1320 0.2128 0.3968 0.5006 0.2536 0.1473 0.2649 0.4495 0.5809 0.2092 0.1665 0.1260 0.0511 0.5006 0.2536 0.1473
402-AH 0.3061 0.4427 0.5079 0.5499 0.6213 0.4910 0.0898 0.1071 0.3152 0.1828 0.4824 0.4730 0.0699 0.3061 0.6213 0.4910 0.0898
403-AH 0.0000 0.0000 0.0417 0.1580 0.2292 0.0779 0.0820 0.1580 0.2292 1.0536 0.0051 0.0000 0.0684 0.0000 0.2292 0.0779 0.0820
404-AH 0.0000 0.2099 0.2099 0.2222 0.3086 0.1936 0.0923 0.0123 0.3086 0.4767 0.0467 0.0001 0.0620 0.2099 0.2222 0.2160 0.0064
405-AH 0.0000 0.1875 0.2500 0.2500 0.3750 0.2204 0.0790 0.0625 0.3750 0.3583 0.1331 0.0002 0.0575 0.1250 0.3125 0.2243 0.0497
406-AH 0.1225 0.2595 0.3710 0.5033 0.6599 0.3915 0.1566 0.2438 0.5375 0.4001 0.3597 0.3258 0.1277 0.1225 0.6599 0.3915 0.1566
407-AH 0.0000 0.1836 0.5469 0.6367 0.8750 0.4753 0.2875 0.4531 0.8750 0.6049 0.1363 0.0001 0.2328 0.0000 0.8750 0.4753 0.2875
408-AH 0.1613 0.3241 0.7211 0.8699 0.9095 0.5922 0.2771 0.5458 0.7482 0.4680 0.5160 0.4328 0.2550 0.1613 0.9095 0.5922 0.2771
409-AH 0.0625 0.1250 0.1875 0.2500 0.4375 0.2105 0.1046 0.1250 0.3750 0.4969 0.1849 0.1588 0.0834 0.0625 0.4375 0.2105 0.1046
410-AH 0.3182 0.5191 0.7851 0.8326 0.8492 0.6867 0.2043 0.3135 0.5310 0.2976 0.6489 0.6029 0.1709 0.3182 0.8492 0.6867 0.2043
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0621 0.1225 0.2075 0.2516 0.2973 0.1929 0.0768 0.1291 0.2352 0.3984 0.1754 0.1560 0.0649 0.0621 0.2973 0.1929 0.0768
413-AH 0.2222 0.3945 0.4670 0.5204 0.5521 0.4395 0.1010 0.1259 0.3299 0.2298 0.4258 0.4090 0.0801 0.2222 0.5521 0.4395 0.1010
414-AH 0.0000 0.2500 0.5000 0.7500 0.7500 0.4967 0.2920 0.5000 0.7500 0.5879 0.0969 0.0001 0.2413 0.0000 0.7500 0.4967 0.2920
415-AH 0.1458 0.3406 0.4256 0.4817 0.5241 0.4000 0.1000 0.1411 0.3783 0.2499 0.3845 0.3635 0.0794 0.1458 0.5241 0.4000 0.1000
416-AH 0.0579 0.2459 0.3471 0.4256 0.6116 0.3306 0.1552 0.1798 0.5537 0.4694 0.2787 0.2085 0.1201 0.0579 0.6116 0.3306 0.1552
417-AH 0.0000 0.0000 0.0000 0.0661 0.2975 0.0600 0.1008 0.0661 0.2975 1.6799 0.0005 0.0000 0.0761 0.0000 0.1405 0.0207 0.0397
418-AH 0.4017 0.4861 0.5374 0.5776 0.6925 0.5310 0.0700 0.0914 0.2909 0.1318 0.5265 0.5219 0.0532 0.4017 0.6925 0.5310 0.0700
419-AH 0.0000 0.0000 0.0000 0.2500 0.5000 0.1053 0.1517 0.2500 0.5000 1.4416 0.0004 0.0000 0.1330 0.0000 0.5000 0.1053 0.1517
420-AH 0.1043 0.1888 0.3900 0.4439 0.5125 0.3201 0.1466 0.2551 0.4082 0.4581 0.2811 0.2397 0.1342 0.1043 0.5125 0.3201 0.1466
421-AH 0.1605 0.3333 0.4444 0.5741 0.7407 0.4574 0.1647 0.2407 0.5802 0.3601 0.4238 0.3834 0.1306 0.1605 0.7407 0.4574 0.1647
422-AH 0.0270 0.0860 0.2149 0.3365 0.5165 0.2264 0.1540 0.2505 0.4895 0.6805 0.1616 0.0991 0.1279 0.0270 0.5165 0.2264 0.1540
423-AH 0.1200 0.1600 0.1600 0.2400 0.4800 0.2189 0.1094 0.0800 0.3600 0.4998 0.1994 0.1852 0.0807 0.1200 0.3600 0.1882 0.0629
424-AH 0.2160 0.3642 0.5370 0.7130 0.7716 0.5265 0.1994 0.3488 0.5556 0.3788 0.4865 0.4450 0.1833 0.2160 0.7716 0.5265 0.1994
425-AH 0.0918 0.1071 0.1276 0.1658 0.2245 0.1380 0.0405 0.0587 0.1327 0.2935 0.1328 0.1280 0.0341 0.0918 0.2245 0.1380 0.0405
426-AH 0.0000 0.0000 0.0000 0.0000 0.0625 0.0049 0.0157 0.0000 0.0625 3.1759 0.0000 0.0000 0.0088 0.0000 0.0000 0.0000 0.0000
427-AH 0.0663 0.1173 0.1990 0.2398 0.3214 0.1850 0.0822 0.1224 0.2551 0.4444 0.1671 0.1500 0.0716 0.0663 0.3214 0.1850 0.0822
428-AH 0.0000 0.0102 0.4643 0.5344 0.6276 0.3354 0.2567 0.5242 0.6276 0.7655 0.0234 0.0000 0.2359 0.0000 0.6276 0.3354 0.2567
429-AH 0.0414 0.0799 0.1361 0.1598 0.2840 0.1296 0.0596 0.0799 0.2426 0.4600 0.1154 0.1002 0.0456 0.0414 0.1834 0.1210 0.0477
430-AH 0.0000 0.0154 0.1111 0.1728 0.2840 0.1092 0.0867 0.1574 0.2840 0.7946 0.0156 0.0000 0.0685 0.0000 0.2840 0.1092 0.0867
431-AH 0.0000 0.2185 0.4362 0.4954 0.5556 0.3493 0.1823 0.2769 0.5556 0.5221 0.1755 0.0002 0.1546 0.0000 0.5556 0.3493 0.1823
432-AH 0.1250 0.1736 0.1944 0.2431 0.2639 0.2039 0.0412 0.0694 0.1389 0.2018 0.1999 0.1957 0.0351 0.1250 0.2639 0.2039 0.0412
433-AH 0.1985 0.5477 0.7761 0.8684 0.9237 0.6767 0.2590 0.3207 0.7253 0.3827 0.6042 0.5070 0.2090 0.1985 0.9237 0.6767 0.2590
434-AH 0.1250 0.4991 0.8316 0.9028 0.9306 0.6803 0.2785 0.4036 0.8056 0.4093 0.5932 0.4695 0.2302 0.1250 0.9306 0.6803 0.2785
435-AH 0.0289 0.1383 0.2122 0.2775 0.3144 0.1943 0.0923 0.1392 0.2856 0.4751 0.1581 0.1063 0.0731 0.0289 0.3144 0.1943 0.0923
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.3314 0.4815 0.5562 0.7237 0.7811 0.5855 0.1447 0.2422 0.4497 0.2471 0.5671 0.5474 0.1224 0.3314 0.7811 0.5855 0.1447
438-AH 0.0000 0.1579 0.2240 0.3642 0.4455 0.2325 0.1353 0.2063 0.4455 0.5820 0.0810 0.0001 0.1057 0.0000 0.4455 0.2325 0.1353
439-AH 0.0000 0.0000 0.1020 0.1378 0.1429 0.0784 0.0632 0.1378 0.1429 0.8058 0.0038 0.0000 0.0578 0.0000 0.1429 0.0784 0.0632
440-AH 0.0118 0.0680 0.1953 0.5089 0.5858 0.2675 0.2181 0.4408 0.5740 0.8151 0.1671 0.0847 0.1989 0.0118 0.5858 0.2675 0.2181
441-AH 0.0133 0.8489 0.9244 0.9811 0.9911 0.7972 0.3108 0.1322 0.9778 0.3899 0.6225 0.1847 0.2323 0.8267 0.9911 0.9443 0.0444
442-AH 0.1111 0.7469 0.8519 0.8951 0.9506 0.7726 0.2081 0.1481 0.8395 0.2694 0.7177 0.5923 0.1462 0.6420 0.9506 0.8488 0.0791
443-AH 0.0178 0.0768 0.1605 0.3752 0.5460 0.2154 0.1768 0.2984 0.5281 0.8207 0.1414 0.0794 0.1465 0.0178 0.5460 0.2154 0.1768
444-AH 0.0000 0.1865 0.2383 0.3037 0.3945 0.2253 0.1062 0.1172 0.3945 0.4711 0.1244 0.0002 0.0831 0.0469 0.3945 0.2378 0.0937
445-AH 0.3125 0.4375 0.7500 0.9375 1.0000 0.7237 0.2621 0.5000 0.6875 0.3622 0.6707 0.6137 0.2306 0.3125 1.0000 0.7237 0.2621
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.4348 0.9121 0.9471 0.9655 0.9716 0.8733 0.1644 0.0534 0.5369 0.1882 0.8541 0.8293 0.1232 0.9093 0.9716 0.9514 0.0191
448-AH 0.0000 0.5625 0.6250 0.6875 0.6875 0.5263 0.2423 0.1250 0.6875 0.4605 0.1087 0.0001 0.1756 0.4375 0.6875 0.6250 0.0685
449-AH 0.0658 0.3457 0.5021 0.5597 0.5995 0.4334 0.1686 0.2140 0.5336 0.3891 0.3786 0.2919 0.1344 0.0658 0.5995 0.4334 0.1686
450-AH 0.0000 0.0411 0.0932 0.1206 0.1509 0.0853 0.0431 0.0795 0.1509 0.5052 0.0502 0.0002 0.0362 0.0000 0.1509 0.0853 0.0431
91
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1579 0.6167 1.0000 1.0000 1.0000 0.7717 0.3115 0.3833 0.8421 0.4037 0.6793 0.5534 0.2643 0.1579 1.0000 0.7717 0.3115
402-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9439 0.1338 0.0000 0.4000 0.1418 0.9328 0.9194 0.0946 1.0000 1.0000 1.0000 0.0000
403-AH 0.0135 0.0502 0.1429 1.0000 1.0000 0.3917 0.4314 0.9498 0.9865 1.1015 0.1684 0.0662 0.3842 0.0135 1.0000 0.3917 0.4314
404-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8331 0.3362 0.0000 0.8571 0.4036 0.7008 0.4935 0.2636 1.0000 1.0000 1.0000 0.0000
405-AH 0.0233 0.5000 0.5000 1.0000 1.0000 0.6188 0.2884 0.5000 0.9767 0.4661 0.5123 0.2550 0.2408 0.0233 1.0000 0.6188 0.2884
406-AH 0.2500 0.5786 1.0000 1.0000 1.0000 0.8380 0.2536 0.4214 0.7500 0.3026 0.7876 0.7192 0.2217 0.2500 1.0000 0.8380 0.2536
407-AH 0.0909 0.5139 1.0000 1.0000 1.0000 0.7393 0.3515 0.4861 0.9091 0.4755 0.5889 0.3760 0.2953 0.0909 1.0000 0.7393 0.3515
408-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9598 0.1042 0.0000 0.4000 0.1086 0.9531 0.9448 0.0677 1.0000 1.0000 1.0000 0.0000
409-AH 0.2500 0.3333 0.5000 0.6667 1.0000 0.5518 0.2629 0.3333 0.7500 0.4764 0.5000 0.4578 0.2129 0.2500 1.0000 0.5518 0.2629
410-AH 0.9375 1.0000 1.0000 1.0000 1.0000 0.9936 0.0191 0.0000 0.0625 0.0193 0.9934 0.9932 0.0114 1.0000 1.0000 1.0000 0.0000
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.2222 1.0000 1.0000 1.0000 1.0000 0.8523 0.2990 0.0000 0.7778 0.3509 0.7649 0.6333 0.2333 1.0000 1.0000 1.0000 0.0000
413-AH 0.6000 0.7330 1.0000 1.0000 1.0000 0.8577 0.1589 0.2670 0.4000 0.1852 0.8431 0.8280 0.1498 0.6000 1.0000 0.8577 0.1589
414-AH 0.0316 1.0000 1.0000 1.0000 1.0000 0.8350 0.3382 0.0000 0.9684 0.4051 0.6657 0.3132 0.2605 1.0000 1.0000 1.0000 0.0000
415-AH 0.5000 0.6018 0.6765 1.0000 1.0000 0.7598 0.1946 0.3982 0.5000 0.2561 0.7370 0.7159 0.1770 0.5000 1.0000 0.7598 0.1946
416-AH 0.2500 0.4583 0.5556 0.7292 1.0000 0.6059 0.2506 0.2708 0.7500 0.4135 0.5547 0.5029 0.1959 0.2500 1.0000 0.6059 0.2506
417-AH 0.0072 0.0224 0.0870 0.2431 1.0000 0.2385 0.3533 0.2206 0.9928 1.4814 0.0813 0.0317 0.2587 0.0072 0.4000 0.0957 0.1099
418-AH 0.7273 1.0000 1.0000 1.0000 1.0000 0.9856 0.0626 0.0000 0.2727 0.0635 0.9834 0.9806 0.0272 1.0000 1.0000 1.0000 0.0000
419-AH 0.0103 0.2292 0.3333 0.5000 1.0000 0.3516 0.2226 0.2708 0.9897 0.6330 0.2603 0.1111 0.1620 0.0103 0.5000 0.3156 0.1623
420-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9912 0.0382 0.0000 0.1667 0.0386 0.9905 0.9896 0.0166 1.0000 1.0000 1.0000 0.0000
421-AH 0.5000 0.5417 0.7500 1.0000 1.0000 0.7744 0.2139 0.4583 0.5000 0.2762 0.7450 0.7152 0.1899 0.5000 1.0000 0.7744 0.2139
422-AH 0.0571 0.3500 1.0000 1.0000 1.0000 0.7009 0.3574 0.6500 0.9429 0.5099 0.5622 0.3656 0.3238 0.0571 1.0000 0.7009 0.3574
423-AH 0.4286 0.4286 0.4286 0.5000 1.0000 0.5301 0.2107 0.0714 0.5714 0.3975 0.5020 0.4831 0.1484 0.4286 0.5000 0.4420 0.0288
424-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9035 0.1923 0.0000 0.5000 0.2128 0.8787 0.8482 0.1524 1.0000 1.0000 1.0000 0.0000
425-AH 0.2500 0.3083 0.3529 0.5000 1.0000 0.4219 0.1877 0.1917 0.7500 0.4448 0.3921 0.3696 0.1370 0.2500 0.6667 0.3898 0.1286
426-AH 0.0000 0.0271 0.0526 0.0656 0.2000 0.0600 0.0498 0.0385 0.2000 0.8286 0.0313 0.0002 0.0334 0.0000 0.0714 0.0415 0.0220
427-AH 0.2500 0.3500 0.5000 0.5000 0.6000 0.4542 0.1142 0.1500 0.3500 0.2513 0.4383 0.4202 0.0943 0.2500 0.6000 0.4542 0.1142
428-AH 0.0100 0.0957 1.0000 1.0000 1.0000 0.6688 0.4422 0.9043 0.9900 0.6612 0.3377 0.0681 0.4033 0.0100 1.0000 0.6688 0.4422
429-AH 0.1429 0.5000 1.0000 1.0000 1.0000 0.7563 0.3228 0.5000 0.8571 0.4268 0.6506 0.5000 0.2822 0.1429 1.0000 0.7563 0.3228
430-AH 0.0250 0.1458 0.5000 1.0000 1.0000 0.5373 0.3997 0.8542 0.9750 0.7438 0.3265 0.1418 0.3545 0.0250 1.0000 0.5373 0.3997
431-AH 0.0474 1.0000 1.0000 1.0000 1.0000 0.8574 0.3386 0.0000 0.9526 0.3949 0.6825 0.3551 0.2401 1.0000 1.0000 1.0000 0.0000
432-AH 0.3333 0.5000 0.6667 1.0000 1.0000 0.6930 0.2358 0.5000 0.6667 0.3403 0.6553 0.6196 0.2059 0.3333 1.0000 0.6930 0.2358
433-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
434-AH 0.5000 0.8889 1.0000 1.0000 1.0000 0.8909 0.1816 0.1111 0.5000 0.2038 0.8680 0.8388 0.1299 0.8333 1.0000 0.9642 0.0571
435-AH 0.0909 0.3359 0.4000 0.4917 1.0000 0.4722 0.3048 0.1557 0.9091 0.6456 0.3767 0.2808 0.2252 0.2500 0.5000 0.3908 0.0669
436-AH 0.0000 0.0000 0.0000 0.0074 0.1667 0.0149 0.0397 0.0074 0.1667 2.6704 0.0003 0.0000 0.0215 0.0000 0.0169 0.0030 0.0055
437-AH 0.5556 1.0000 1.0000 1.0000 1.0000 0.9437 0.1400 0.0000 0.4444 0.1483 0.9309 0.9147 0.0949 1.0000 1.0000 1.0000 0.0000
438-AH 0.0328 0.5179 1.0000 1.0000 1.0000 0.7402 0.3602 0.4821 0.9672 0.4867 0.5395 0.2153 0.3071 0.0328 1.0000 0.7402 0.3602
439-AH 0.0042 0.0409 0.3333 0.8750 1.0000 0.4203 0.3974 0.8341 0.9958 0.9455 0.1486 0.0252 0.3302 0.0042 1.0000 0.4203 0.3974
440-AH 0.1429 0.3333 1.0000 1.0000 1.0000 0.7080 0.3729 0.6667 0.8571 0.5266 0.5708 0.4191 0.3425 0.1429 1.0000 0.7080 0.3729
441-AH 0.1250 1.0000 1.0000 1.0000 1.0000 0.9539 0.2007 0.0000 0.8750 0.2104 0.8963 0.7308 0.0873 1.0000 1.0000 1.0000 0.0000
442-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9737 0.1147 0.0000 0.5000 0.1178 0.9642 0.9500 0.0499 1.0000 1.0000 1.0000 0.0000
443-AH 0.0667 0.1912 1.0000 1.0000 1.0000 0.6597 0.4163 0.8088 0.9333 0.6311 0.4626 0.2675 0.3941 0.0667 1.0000 0.6597 0.4163
444-AH 0.0769 0.5000 1.0000 1.0000 1.0000 0.7215 0.3379 0.5000 0.9231 0.4684 0.5989 0.4205 0.2961 0.0769 1.0000 0.7215 0.3379
445-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9737 0.1147 0.0000 0.5000 0.1178 0.9642 0.9500 0.0499 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0025 0.0054 0.0332 0.0909 0.0194 0.0262 0.0308 0.0909 1.3509 0.0036 0.0001 0.0205 0.0000 0.0625 0.0155 0.0203
447-AH 0.9091 1.0000 1.0000 1.0000 1.0000 0.9952 0.0209 0.0000 0.0909 0.0210 0.9950 0.9948 0.0091 1.0000 1.0000 1.0000 0.0000
448-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8672 0.3152 0.0000 0.8571 0.3635 0.7475 0.5429 0.2237 1.0000 1.0000 1.0000 0.0000
449-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.8947 0.2498 0.0000 0.6667 0.2791 0.8407 0.7600 0.1773 1.0000 1.0000 1.0000 0.0000
450-AH 0.0420 0.3333 0.5000 0.6250 1.0000 0.4987 0.2362 0.2917 0.9580 0.4736 0.4272 0.2978 0.1595 0.0420 1.0000 0.4987 0.2362
92
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1579 0.4071 0.6000 0.7944 1.0000 0.6028 0.2765 0.3873 0.8421 0.4587 0.5287 0.4443 0.2309 0.1579 1.0000 0.6028 0.2765
402-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9363 0.1345 0.0000 0.4000 0.1436 0.9253 0.9120 0.1005 1.0000 1.0000 1.0000 0.0000
403-AH 0.0135 0.0313 0.0625 0.3625 1.0000 0.2450 0.3227 0.3312 0.9865 1.3174 0.1022 0.0499 0.2470 0.0135 0.6667 0.1561 0.1937
404-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8331 0.3362 0.0000 0.8571 0.4036 0.7008 0.4935 0.2636 1.0000 1.0000 1.0000 0.0000
405-AH 0.0233 0.5000 0.5000 1.0000 1.0000 0.6188 0.2884 0.5000 0.9767 0.4661 0.5123 0.2550 0.2408 0.0233 1.0000 0.6188 0.2884
406-AH 0.2500 0.5179 0.7500 1.0000 1.0000 0.7319 0.2380 0.4821 0.7500 0.3251 0.6886 0.6375 0.2032 0.2500 1.0000 0.7319 0.2380
407-AH 0.0909 0.5139 1.0000 1.0000 1.0000 0.7393 0.3515 0.4861 0.9091 0.4755 0.5889 0.3760 0.2953 0.0909 1.0000 0.7393 0.3515
408-AH 0.6000 1.0000 1.0000 1.0000 1.0000 0.9598 0.1042 0.0000 0.4000 0.1086 0.9531 0.9448 0.0677 1.0000 1.0000 1.0000 0.0000
409-AH 0.2500 0.3333 0.5000 0.6667 1.0000 0.5518 0.2629 0.3333 0.7500 0.4764 0.5000 0.4578 0.2129 0.2500 1.0000 0.5518 0.2629
410-AH 0.7500 0.9308 1.0000 1.0000 1.0000 0.9427 0.0908 0.0692 0.2500 0.0963 0.9381 0.9330 0.0663 0.9167 1.0000 0.9788 0.0328
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0460 0.2500 0.6250 0.8250 1.0000 0.5569 0.3038 0.5750 0.9540 0.5455 0.4493 0.3017 0.2737 0.0460 1.0000 0.5569 0.3038
413-AH 0.6000 0.6818 0.7500 0.7778 0.8000 0.7365 0.0598 0.0960 0.2000 0.0811 0.7341 0.7315 0.0479 0.6000 0.8000 0.7365 0.0598
414-AH 0.0316 1.0000 1.0000 1.0000 1.0000 0.8350 0.3382 0.0000 0.9684 0.4051 0.6657 0.3132 0.2605 1.0000 1.0000 1.0000 0.0000
415-AH 0.3667 0.6018 0.6250 0.6791 0.9167 0.6392 0.1010 0.0773 0.5500 0.1580 0.6311 0.6220 0.0610 0.5833 0.7500 0.6389 0.0449
416-AH 0.2500 0.4583 0.5556 0.6667 1.0000 0.5708 0.2113 0.2083 0.7500 0.3701 0.5316 0.4899 0.1554 0.2500 0.7500 0.5203 0.1564
417-AH 0.0072 0.0212 0.0448 0.1884 1.0000 0.2200 0.3592 0.1672 0.9928 1.6324 0.0668 0.0291 0.2655 0.0072 0.4000 0.0738 0.1017
418-AH 0.7273 1.0000 1.0000 1.0000 1.0000 0.9725 0.0825 0.0000 0.2727 0.0848 0.9686 0.9641 0.0492 1.0000 1.0000 1.0000 0.0000
419-AH 0.0103 0.2292 0.3333 0.5000 1.0000 0.3516 0.2226 0.2708 0.9897 0.6330 0.2603 0.1111 0.1620 0.0103 0.5000 0.3156 0.1623
420-AH 0.2174 0.4062 0.6000 0.6917 0.8333 0.5471 0.1919 0.2854 0.6159 0.3507 0.5069 0.4591 0.1548 0.2174 0.8333 0.5471 0.1919
421-AH 0.5000 0.5417 0.7500 1.0000 1.0000 0.7744 0.2139 0.4583 0.5000 0.2762 0.7450 0.7152 0.1899 0.5000 1.0000 0.7744 0.2139
422-AH 0.0296 0.1721 0.3864 0.6591 0.7857 0.4135 0.2603 0.4870 0.7562 0.6296 0.2975 0.1694 0.2249 0.0296 0.7857 0.4135 0.2603
423-AH 0.4286 0.4286 0.4286 0.5000 1.0000 0.5301 0.2107 0.0714 0.5714 0.3975 0.5020 0.4831 0.1484 0.4286 0.5000 0.4420 0.0288
424-AH 0.5000 0.8750 1.0000 1.0000 1.0000 0.8947 0.1915 0.1250 0.5000 0.2140 0.8703 0.8407 0.1551 0.8333 1.0000 0.9889 0.0430
425-AH 0.2143 0.2533 0.2941 0.3882 0.6667 0.3433 0.1297 0.1349 0.4524 0.3779 0.3253 0.3114 0.0927 0.2143 0.4444 0.3053 0.0658
426-AH 0.0000 0.0271 0.0526 0.0656 0.2000 0.0600 0.0498 0.0385 0.2000 0.8286 0.0313 0.0002 0.0334 0.0000 0.0714 0.0415 0.0220
427-AH 0.0992 0.2604 0.4000 0.5000 0.6000 0.3876 0.1462 0.2396 0.5008 0.3773 0.3559 0.3164 0.1197 0.0992 0.6000 0.3876 0.1462
428-AH 0.0073 0.0800 0.8571 1.0000 1.0000 0.6179 0.4445 0.9200 0.9927 0.7193 0.2729 0.0441 0.4112 0.0073 1.0000 0.6179 0.4445
429-AH 0.0408 0.1726 0.4000 0.6667 1.0000 0.4036 0.2695 0.4940 0.9592 0.6678 0.2919 0.1740 0.2215 0.0408 1.0000 0.4036 0.2695
430-AH 0.0250 0.1458 0.5000 1.0000 1.0000 0.5373 0.3997 0.8542 0.9750 0.7438 0.3265 0.1418 0.3545 0.0250 1.0000 0.5373 0.3997
431-AH 0.0474 0.5833 1.0000 1.0000 1.0000 0.7852 0.3471 0.4167 0.9526 0.4420 0.6198 0.3388 0.2814 0.0474 1.0000 0.7852 0.3471
432-AH 0.2857 0.3524 0.4286 0.6250 0.7500 0.4776 0.1496 0.2726 0.4643 0.3132 0.4571 0.4388 0.1218 0.2857 0.7500 0.4776 0.1496
433-AH 0.4545 1.0000 1.0000 1.0000 1.0000 0.9139 0.2043 0.0000 0.5455 0.2236 0.8829 0.8407 0.1451 1.0000 1.0000 1.0000 0.0000
434-AH 0.2143 0.8472 0.9000 1.0000 1.0000 0.8370 0.2428 0.1528 0.7857 0.2901 0.7825 0.6967 0.1747 0.7273 1.0000 0.9337 0.0803
435-AH 0.0364 0.3359 0.3889 0.4420 0.5000 0.3493 0.1442 0.1061 0.4636 0.4129 0.2896 0.1897 0.1061 0.2500 0.5000 0.4048 0.0647
436-AH 0.0000 0.0000 0.0000 0.0074 0.1667 0.0149 0.0397 0.0074 0.1667 2.6704 0.0003 0.0000 0.0215 0.0000 0.0169 0.0030 0.0055
437-AH 0.5556 0.7500 0.8333 1.0000 1.0000 0.8311 0.1629 0.2500 0.4444 0.1961 0.8147 0.7975 0.1381 0.5556 1.0000 0.8311 0.1629
438-AH 0.0211 0.3996 0.5714 0.8000 1.0000 0.5366 0.2936 0.4004 0.9789 0.5471 0.3692 0.1331 0.2321 0.0211 1.0000 0.5366 0.2936
439-AH 0.0042 0.0409 0.3333 0.8750 1.0000 0.4203 0.3974 0.8341 0.9958 0.9455 0.1486 0.0252 0.3302 0.0042 1.0000 0.4203 0.3974
440-AH 0.0833 0.1456 0.4286 0.7500 1.0000 0.4748 0.3490 0.6044 0.9167 0.7350 0.3468 0.2484 0.3019 0.0833 1.0000 0.4748 0.3490
441-AH 0.1250 1.0000 1.0000 1.0000 1.0000 0.8870 0.2633 0.0000 0.8750 0.2969 0.8107 0.6534 0.1827 1.0000 1.0000 1.0000 0.0000
442-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9737 0.1147 0.0000 0.5000 0.1178 0.9642 0.9500 0.0499 1.0000 1.0000 1.0000 0.0000
443-AH 0.0460 0.1653 0.3636 0.9688 1.0000 0.5063 0.3788 0.8035 0.9540 0.7482 0.3368 0.1894 0.3410 0.0460 1.0000 0.5063 0.3788
444-AH 0.0769 0.4464 0.6250 1.0000 1.0000 0.6507 0.3296 0.5536 0.9231 0.5065 0.5262 0.3595 0.2696 0.0769 1.0000 0.6507 0.3296
445-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9737 0.1147 0.0000 0.5000 0.1178 0.9642 0.9500 0.0499 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0025 0.0054 0.0332 0.0909 0.0194 0.0262 0.0308 0.0909 1.3509 0.0036 0.0001 0.0205 0.0000 0.0625 0.0155 0.0203
447-AH 0.9091 1.0000 1.0000 1.0000 1.0000 0.9908 0.0275 0.0000 0.0909 0.0278 0.9905 0.9901 0.0164 1.0000 1.0000 1.0000 0.0000
448-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8672 0.3152 0.0000 0.8571 0.3635 0.7475 0.5429 0.2237 1.0000 1.0000 1.0000 0.0000
449-AH 0.0938 0.7708 1.0000 1.0000 1.0000 0.8211 0.2953 0.2292 0.9062 0.3597 0.7187 0.5281 0.2205 0.6667 1.0000 0.9379 0.1065
450-AH 0.0221 0.0617 0.1667 0.4688 0.6000 0.2627 0.2210 0.4070 0.5779 0.8410 0.1676 0.0989 0.1917 0.0221 0.6000 0.2627 0.2210
93
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0896 0.1601 0.3750 0.7500 0.8750 0.4564 0.3060 0.5899 0.7854 0.6704 0.3388 0.2371 0.2748 0.0896 0.8750 0.4564 0.3060
402-AH 0.4667 0.8393 0.8889 1.0000 1.0000 0.8687 0.1665 0.1607 0.5333 0.1917 0.8498 0.8265 0.1169 0.8333 1.0000 0.9329 0.0710
403-AH 0.0135 0.0221 0.0556 0.2076 0.5000 0.1350 0.1605 0.1854 0.4865 1.1890 0.0700 0.0413 0.1290 0.0135 0.3333 0.0920 0.1017
404-AH 0.1429 0.6667 0.6667 1.0000 1.0000 0.7103 0.3115 0.3333 0.8571 0.4386 0.6036 0.4524 0.2440 0.4000 1.0000 0.8167 0.2000
405-AH 0.0233 0.5000 0.5000 1.0000 1.0000 0.6188 0.2884 0.5000 0.9767 0.4661 0.5123 0.2550 0.2408 0.0233 1.0000 0.6188 0.2884
406-AH 0.2258 0.4803 0.5263 0.8136 0.9000 0.5959 0.1974 0.3334 0.6742 0.3312 0.5638 0.5297 0.1650 0.2258 0.9000 0.5959 0.1974
407-AH 0.0606 0.3056 0.8333 1.0000 1.0000 0.6859 0.3671 0.6944 0.9394 0.5352 0.5048 0.2806 0.3112 0.0606 1.0000 0.6859 0.3671
408-AH 0.0114 0.6084 0.9444 1.0000 1.0000 0.7824 0.3259 0.3916 0.9886 0.4166 0.5856 0.1535 0.2573 0.0667 1.0000 0.8252 0.2749
409-AH 0.2500 0.3333 0.5000 0.6667 1.0000 0.5518 0.2629 0.3333 0.7500 0.4764 0.5000 0.4578 0.2129 0.2500 1.0000 0.5518 0.2629
410-AH 0.6250 0.9042 0.9375 1.0000 1.0000 0.9112 0.1117 0.0958 0.3750 0.1226 0.9038 0.8954 0.0810 0.8333 1.0000 0.9537 0.0491
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0255 0.1243 0.3636 0.4934 0.7143 0.3379 0.2108 0.3691 0.6888 0.6239 0.2462 0.1431 0.1705 0.0255 0.7143 0.3379 0.2108
413-AH 0.4167 0.6439 0.7273 0.7756 0.8000 0.6835 0.1165 0.1317 0.3833 0.1704 0.6723 0.6588 0.0898 0.5455 0.8000 0.7149 0.0729
414-AH 0.0316 1.0000 1.0000 1.0000 1.0000 0.8350 0.3382 0.0000 0.9684 0.4051 0.6657 0.3132 0.2605 1.0000 1.0000 1.0000 0.0000
415-AH 0.2795 0.5454 0.6087 0.6364 0.7778 0.5729 0.1243 0.0910 0.4983 0.2170 0.5569 0.5369 0.0890 0.5172 0.6800 0.6088 0.0461
416-AH 0.2500 0.3874 0.5455 0.6335 0.8000 0.5124 0.1631 0.2461 0.5500 0.3182 0.4848 0.4545 0.1304 0.2500 0.8000 0.5124 0.1631
417-AH 0.0000 0.0212 0.0448 0.0834 0.7500 0.1339 0.2298 0.0622 0.7500 1.7158 0.0251 0.0001 0.1532 0.0000 0.1579 0.0445 0.0398
418-AH 0.6250 0.6750 0.8000 1.0000 1.0000 0.8188 0.1454 0.3250 0.3750 0.1776 0.8066 0.7945 0.1259 0.6250 1.0000 0.8188 0.1454
419-AH 0.0103 0.2292 0.3333 0.5000 1.0000 0.3516 0.2226 0.2708 0.9897 0.6330 0.2603 0.1111 0.1620 0.0103 0.5000 0.3156 0.1623
420-AH 0.1724 0.3031 0.6000 0.6579 0.8333 0.5188 0.2048 0.3548 0.6609 0.3948 0.4702 0.4144 0.1736 0.1724 0.8333 0.5188 0.2048
421-AH 0.3077 0.5000 0.7143 0.8000 1.0000 0.6937 0.2183 0.3000 0.6923 0.3148 0.6566 0.6149 0.1713 0.3077 1.0000 0.6937 0.2183
422-AH 0.0178 0.1006 0.3333 0.5860 0.7500 0.3611 0.2495 0.4855 0.7322 0.6908 0.2476 0.1287 0.2125 0.0178 0.7500 0.3611 0.2495
423-AH 0.4286 0.4286 0.4286 0.5000 1.0000 0.5301 0.2107 0.0714 0.5714 0.3975 0.5020 0.4831 0.1484 0.4286 0.5000 0.4420 0.0288
424-AH 0.5000 0.8000 0.8571 0.8893 1.0000 0.8050 0.1542 0.0893 0.5000 0.1916 0.7890 0.7710 0.1130 0.8000 1.0000 0.8752 0.0729
425-AH 0.1200 0.2281 0.2727 0.3250 0.4444 0.2748 0.0777 0.0969 0.3244 0.2828 0.2635 0.2510 0.0595 0.1200 0.4444 0.2748 0.0777
426-AH 0.0000 0.0271 0.0476 0.0599 0.1333 0.0493 0.0325 0.0328 0.1333 0.6593 0.0280 0.0002 0.0238 0.0000 0.0952 0.0446 0.0260
427-AH 0.0992 0.2319 0.3333 0.4712 0.6000 0.3485 0.1505 0.2393 0.5008 0.4318 0.3164 0.2826 0.1199 0.0992 0.6000 0.3485 0.1505
428-AH 0.0031 0.0555 0.8571 1.0000 1.0000 0.6038 0.4419 0.9445 0.9969 0.7319 0.2434 0.0293 0.4080 0.0031 1.0000 0.6038 0.4419
429-AH 0.0337 0.0442 0.1905 0.2575 0.5000 0.1773 0.1243 0.2132 0.4663 0.7014 0.1307 0.0895 0.0971 0.0337 0.5000 0.1773 0.1243
430-AH 0.0000 0.0940 0.1818 0.3333 0.6667 0.2276 0.1742 0.2393 0.6667 0.7652 0.1087 0.0002 0.1401 0.0000 0.6667 0.2276 0.1742
431-AH 0.0474 0.3416 0.6667 0.8608 1.0000 0.5840 0.3202 0.5192 0.9526 0.5483 0.4325 0.2374 0.2770 0.0474 1.0000 0.5840 0.3202
432-AH 0.2105 0.3333 0.3750 0.4904 0.7500 0.4275 0.1439 0.1571 0.5395 0.3367 0.4071 0.3889 0.1086 0.2105 0.6000 0.3895 0.0936
433-AH 0.3125 0.9103 1.0000 1.0000 1.0000 0.8698 0.2492 0.0897 0.6875 0.2864 0.8162 0.7378 0.1842 0.9000 1.0000 0.9865 0.0300
434-AH 0.2143 0.8472 0.9000 1.0000 1.0000 0.8297 0.2386 0.1528 0.7857 0.2875 0.7766 0.6929 0.1713 0.7273 1.0000 0.9250 0.0761
435-AH 0.0339 0.2667 0.3636 0.4420 0.4783 0.3241 0.1530 0.1754 0.4444 0.4722 0.2540 0.1522 0.1206 0.0339 0.4783 0.3241 0.1530
436-AH 0.0000 0.0000 0.0000 0.0074 0.1667 0.0149 0.0397 0.0074 0.1667 2.6704 0.0003 0.0000 0.0215 0.0000 0.0169 0.0030 0.0055
437-AH 0.4615 0.6483 0.7857 0.9173 1.0000 0.7891 0.1657 0.2690 0.5385 0.2100 0.7714 0.7526 0.1367 0.4615 1.0000 0.7891 0.1657
438-AH 0.0211 0.2709 0.4211 0.5212 0.7778 0.3943 0.2317 0.2503 0.7567 0.5877 0.2706 0.1141 0.1777 0.0211 0.7778 0.3943 0.2317
439-AH 0.0000 0.0012 0.0377 0.0464 0.1154 0.0336 0.0333 0.0452 0.1154 0.9925 0.0039 0.0000 0.0267 0.0000 0.0833 0.0290 0.0276
440-AH 0.0612 0.1044 0.4286 0.7500 1.0000 0.4341 0.3540 0.6456 0.9388 0.8154 0.2796 0.1729 0.3051 0.0612 1.0000 0.4341 0.3540
441-AH 0.0811 0.9464 1.0000 1.0000 1.0000 0.8810 0.2693 0.0536 0.9189 0.3057 0.7894 0.5674 0.1855 0.9286 1.0000 0.9911 0.0244
442-AH 0.2000 1.0000 1.0000 1.0000 1.0000 0.9368 0.1892 0.0000 0.8000 0.2019 0.8975 0.8085 0.1064 1.0000 1.0000 1.0000 0.0000
443-AH 0.0126 0.0662 0.2647 0.6656 0.8750 0.3335 0.3014 0.5994 0.8624 0.9035 0.1905 0.0886 0.2558 0.0126 0.8750 0.3335 0.3014
444-AH 0.0602 0.2714 0.4444 0.6250 1.0000 0.4439 0.2396 0.3536 0.9398 0.5398 0.3681 0.2758 0.1981 0.0602 1.0000 0.4439 0.2396
445-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9737 0.1147 0.0000 0.5000 0.1178 0.9642 0.9500 0.0499 1.0000 1.0000 1.0000 0.0000
446-AH 0.0000 0.0005 0.0053 0.0106 0.0625 0.0110 0.0165 0.0101 0.0625 1.5030 0.0015 0.0000 0.0115 0.0000 0.0192 0.0047 0.0051
447-AH 0.9091 1.0000 1.0000 1.0000 1.0000 0.9908 0.0275 0.0000 0.0909 0.0278 0.9905 0.9901 0.0164 1.0000 1.0000 1.0000 0.0000
448-AH 0.1429 1.0000 1.0000 1.0000 1.0000 0.8672 0.3152 0.0000 0.8571 0.3635 0.7475 0.5429 0.2237 1.0000 1.0000 1.0000 0.0000
449-AH 0.0606 0.6667 0.8750 1.0000 1.0000 0.7626 0.2935 0.3333 0.9394 0.3849 0.6518 0.4311 0.2261 0.2286 1.0000 0.8016 0.2462
450-AH 0.0221 0.0473 0.0556 0.0688 0.2308 0.0741 0.0504 0.0215 0.2087 0.6798 0.0635 0.0563 0.0343 0.0221 0.0972 0.0552 0.0163
94
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0235 0.0995 0.3103 0.6349 0.8333 0.3738 0.2765 0.5354 0.8098 0.7395 0.2391 0.1179 0.2381 0.0235 0.8333 0.3738 0.2765
402-AH 0.4667 0.7833 0.8182 0.8889 1.0000 0.8128 0.1636 0.1056 0.5333 0.2013 0.7941 0.7719 0.1150 0.7778 1.0000 0.8735 0.0846
403-AH 0.0135 0.0221 0.0462 0.0652 0.1818 0.0522 0.0402 0.0430 0.1683 0.7702 0.0416 0.0340 0.0275 0.0135 0.1026 0.0450 0.0258
404-AH 0.0495 0.0816 0.1154 0.2292 0.6000 0.1865 0.1707 0.1475 0.5505 0.9152 0.1379 0.1104 0.1290 0.0495 0.3750 0.1379 0.0943
405-AH 0.0122 0.0900 0.3333 0.4000 0.5000 0.2739 0.1782 0.3100 0.4878 0.6505 0.1724 0.0686 0.1512 0.0122 0.5000 0.2739 0.1782
406-AH 0.1800 0.4500 0.5000 0.7173 0.9000 0.5572 0.2022 0.2673 0.7200 0.3629 0.5194 0.4767 0.1599 0.1800 0.9000 0.5572 0.2022
407-AH 0.0265 0.2389 0.8333 1.0000 1.0000 0.6779 0.3793 0.7611 0.9735 0.5596 0.4653 0.2033 0.3222 0.0265 1.0000 0.6779 0.3793
408-AH 0.0000 0.4753 0.9412 1.0000 1.0000 0.7415 0.3385 0.5247 1.0000 0.4565 0.3590 0.0002 0.2791 0.0000 1.0000 0.7415 0.3385
409-AH 0.1000 0.2500 0.3333 0.4000 0.6667 0.3570 0.1661 0.1500 0.5667 0.4654 0.3211 0.2850 0.1264 0.1000 0.5000 0.2989 0.1017
410-AH 0.5000 0.8961 0.9286 0.9412 1.0000 0.8777 0.1376 0.0451 0.5000 0.1568 0.8650 0.8495 0.0987 0.8947 1.0000 0.9402 0.0349
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0221 0.1071 0.2449 0.3225 0.4138 0.2245 0.1324 0.2154 0.3916 0.5899 0.1679 0.1029 0.1121 0.0221 0.4138 0.2245 0.1324
413-AH 0.2340 0.5824 0.6667 0.7273 0.8000 0.6287 0.1580 0.1449 0.5660 0.2513 0.6002 0.5575 0.1124 0.5294 0.8000 0.6752 0.0794
414-AH 0.0316 0.1625 1.0000 1.0000 1.0000 0.7218 0.4224 0.8375 0.9684 0.5852 0.4846 0.2205 0.3806 0.0316 1.0000 0.7218 0.4224
415-AH 0.2667 0.5418 0.5714 0.6167 0.6765 0.5431 0.1175 0.0750 0.4098 0.2164 0.5272 0.5064 0.0814 0.5111 0.6765 0.5893 0.0442
416-AH 0.2500 0.3874 0.5455 0.6116 0.8000 0.5027 0.1540 0.2242 0.5500 0.3063 0.4773 0.4491 0.1218 0.2500 0.8000 0.5027 0.1540
417-AH 0.0000 0.0212 0.0370 0.0834 0.3636 0.0882 0.1150 0.0622 0.3636 1.3035 0.0222 0.0001 0.0831 0.0000 0.1379 0.0420 0.0363
418-AH 0.5294 0.6118 0.7273 0.8705 1.0000 0.7456 0.1438 0.2588 0.4706 0.1929 0.7325 0.7196 0.1200 0.5294 1.0000 0.7456 0.1438
419-AH 0.0103 0.2292 0.3333 0.5000 1.0000 0.3516 0.2226 0.2708 0.9897 0.6330 0.2603 0.1111 0.1620 0.0103 0.5000 0.3156 0.1623
420-AH 0.0778 0.1789 0.5833 0.6111 0.7000 0.4279 0.2245 0.4322 0.6222 0.5247 0.3526 0.2713 0.2105 0.0778 0.7000 0.4279 0.2245
421-AH 0.3077 0.5000 0.7143 0.8000 1.0000 0.6937 0.2183 0.3000 0.6923 0.3148 0.6566 0.6149 0.1713 0.3077 1.0000 0.6937 0.2183
422-AH 0.0000 0.0880 0.3243 0.5449 0.7143 0.3286 0.2361 0.4568 0.7143 0.7185 0.1480 0.0002 0.1973 0.0000 0.7143 0.3286 0.2361
423-AH 0.4286 0.4286 0.4286 0.4286 1.0000 0.5050 0.1832 0.0000 0.5714 0.3627 0.4835 0.4691 0.1212 0.4286 0.4286 0.4286 0.0000
424-AH 0.0234 0.4893 0.7000 0.8571 0.9091 0.6301 0.2588 0.3678 0.8857 0.4107 0.5168 0.2486 0.2119 0.0234 0.9091 0.6301 0.2588
425-AH 0.0127 0.0560 0.1852 0.2741 0.3529 0.1765 0.1167 0.2181 0.3402 0.6613 0.1118 0.0488 0.0962 0.0127 0.3529 0.1765 0.1167
426-AH 0.0000 0.0271 0.0408 0.0554 0.1250 0.0454 0.0290 0.0282 0.1250 0.6383 0.0264 0.0002 0.0206 0.0000 0.0938 0.0410 0.0223
427-AH 0.0992 0.1909 0.3125 0.3620 0.5556 0.2991 0.1208 0.1711 0.4563 0.4040 0.2738 0.2465 0.0936 0.0992 0.5556 0.2991 0.1208
428-AH 0.0000 0.0379 0.8571 0.8750 1.0000 0.5488 0.4113 0.8371 1.0000 0.7496 0.1093 0.0001 0.3801 0.0000 1.0000 0.5488 0.4113
429-AH 0.0316 0.0377 0.1429 0.2188 0.4444 0.1511 0.1178 0.1810 0.4129 0.7796 0.1058 0.0721 0.0973 0.0316 0.4444 0.1511 0.1178
430-AH 0.0000 0.0884 0.1765 0.3250 0.6000 0.2028 0.1490 0.2366 0.6000 0.7347 0.1001 0.0002 0.1213 0.0000 0.6000 0.2028 0.1490
431-AH 0.0459 0.1946 0.6471 0.7912 0.8333 0.5111 0.2992 0.5966 0.7875 0.5854 0.3589 0.1859 0.2589 0.0459 0.8333 0.5111 0.2992
432-AH 0.2105 0.2941 0.3448 0.3636 0.4615 0.3390 0.0625 0.0695 0.2510 0.1843 0.3335 0.3280 0.0469 0.2105 0.4615 0.3390 0.0625
433-AH 0.2542 0.7760 0.9630 1.0000 1.0000 0.8227 0.2876 0.2240 0.7458 0.3496 0.7475 0.6436 0.2328 0.7222 1.0000 0.9635 0.0708
434-AH 0.1333 0.8472 0.9000 0.9844 1.0000 0.8127 0.2645 0.1372 0.8667 0.3254 0.7355 0.5982 0.1892 0.7273 1.0000 0.9197 0.0735
435-AH 0.0161 0.2609 0.3500 0.4276 0.4783 0.3054 0.1540 0.1667 0.4622 0.5044 0.2120 0.0805 0.1181 0.0161 0.4783 0.3054 0.1540
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0047 0.0150 0.0000 0.0645 3.2192 0.0000 0.0000 0.0076 0.0000 0.0000 0.0000 0.0000
437-AH 0.4375 0.6483 0.7857 0.9125 1.0000 0.7830 0.1642 0.2642 0.5625 0.2097 0.7651 0.7456 0.1340 0.4375 1.0000 0.7830 0.1642
438-AH 0.0211 0.0543 0.2558 0.4717 0.5789 0.2541 0.2046 0.4175 0.5578 0.8053 0.1518 0.0731 0.1705 0.0211 0.5789 0.2541 0.2046
439-AH 0.0000 0.0009 0.0132 0.0457 0.1154 0.0290 0.0338 0.0448 0.1154 1.1655 0.0032 0.0000 0.0266 0.0000 0.0833 0.0242 0.0273
440-AH 0.0311 0.0881 0.2667 0.6042 0.8000 0.3472 0.2652 0.5160 0.7689 0.7637 0.2242 0.1255 0.2425 0.0311 0.8000 0.3472 0.2652
441-AH 0.0806 0.9286 1.0000 1.0000 1.0000 0.8500 0.3020 0.0714 0.9194 0.3554 0.7337 0.5051 0.2121 0.9000 1.0000 0.9759 0.0375
442-AH 0.0968 0.8929 1.0000 1.0000 1.0000 0.9107 0.2144 0.1071 0.9032 0.2354 0.8440 0.6477 0.1316 0.7500 1.0000 0.9560 0.0868
443-AH 0.0000 0.0442 0.1475 0.5542 0.7143 0.2641 0.2572 0.5101 0.7143 0.9740 0.0905 0.0002 0.2184 0.0000 0.7143 0.2641 0.2572
444-AH 0.0602 0.2411 0.3571 0.5556 0.6250 0.3692 0.1932 0.3145 0.5648 0.5233 0.3083 0.2382 0.1625 0.0602 0.6250 0.3692 0.1932
445-AH 0.4444 0.5786 1.0000 1.0000 1.0000 0.8307 0.2320 0.4214 0.5556 0.2793 0.7947 0.7550 0.2139 0.4444 1.0000 0.8307 0.2320
446-AH 0.0000 0.0005 0.0053 0.0106 0.0625 0.0110 0.0165 0.0101 0.0625 1.5030 0.0015 0.0000 0.0115 0.0000 0.0192 0.0047 0.0051
447-AH 0.9091 1.0000 1.0000 1.0000 1.0000 0.9881 0.0291 0.0000 0.0909 0.0295 0.9876 0.9872 0.0201 1.0000 1.0000 1.0000 0.0000
448-AH 0.0833 0.6875 1.0000 1.0000 1.0000 0.7815 0.3330 0.3125 0.9167 0.4261 0.6242 0.3654 0.2530 0.6667 1.0000 0.9115 0.1377
449-AH 0.0411 0.6478 0.6923 1.0000 1.0000 0.6984 0.3040 0.3522 0.9589 0.4352 0.5761 0.3401 0.2297 0.2000 1.0000 0.7350 0.2665
450-AH 0.0000 0.0363 0.0497 0.0604 0.1159 0.0514 0.0283 0.0241 0.1159 0.5507 0.0306 0.0002 0.0206 0.0117 0.0909 0.0507 0.0218
95
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0233 0.0791 0.1739 0.5714 0.7500 0.3010 0.2613 0.4923 0.7267 0.8680 0.1782 0.0887 0.2252 0.0233 0.7500 0.3010 0.2613
402-AH 0.2564 0.5498 0.6923 0.7500 0.8182 0.6360 0.1559 0.2002 0.5618 0.2451 0.6111 0.5771 0.1188 0.2564 0.8182 0.6360 0.1559
403-AH 0.0135 0.0221 0.0441 0.0545 0.0698 0.0394 0.0185 0.0324 0.0563 0.4699 0.0350 0.0309 0.0164 0.0135 0.0698 0.0394 0.0185
404-AH 0.0460 0.0685 0.0926 0.1072 0.3636 0.0987 0.0678 0.0387 0.3177 0.6876 0.0873 0.0805 0.0334 0.0460 0.1111 0.0840 0.0227
405-AH 0.0122 0.0900 0.3333 0.4000 0.5000 0.2739 0.1782 0.3100 0.4878 0.6505 0.1724 0.0686 0.1512 0.0122 0.5000 0.2739 0.1782
406-AH 0.0863 0.2895 0.4615 0.6548 0.8750 0.4802 0.2312 0.3652 0.7887 0.4815 0.4183 0.3436 0.1810 0.0863 0.8750 0.4802 0.2312
407-AH 0.0265 0.2389 0.8000 0.9643 1.0000 0.6489 0.3708 0.7254 0.9735 0.5714 0.4275 0.1718 0.3110 0.0265 1.0000 0.6489 0.3708
408-AH 0.0000 0.3429 0.7778 0.9886 1.0000 0.6727 0.3603 0.6458 1.0000 0.5355 0.2116 0.0001 0.3180 0.0000 1.0000 0.6727 0.3603
409-AH 0.1000 0.2500 0.3333 0.4000 0.6667 0.3570 0.1661 0.1500 0.5667 0.4654 0.3211 0.2850 0.1264 0.1000 0.5000 0.2989 0.1017
410-AH 0.1667 0.7768 0.9000 0.9375 0.9412 0.7948 0.2320 0.1607 0.7745 0.2919 0.7409 0.6486 0.1789 0.7500 0.9412 0.9051 0.0509
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0595 0.1304 0.2191 0.2885 0.1359 0.0910 0.1596 0.2885 0.6697 0.0686 0.0002 0.0790 0.0000 0.2885 0.1359 0.0910
413-AH 0.1528 0.5066 0.5882 0.6235 0.7692 0.5323 0.1630 0.1169 0.6165 0.3063 0.4972 0.4466 0.1183 0.4286 0.7692 0.5933 0.0804
414-AH 0.0316 0.1625 1.0000 1.0000 1.0000 0.7218 0.4224 0.8375 0.9684 0.5852 0.4846 0.2205 0.3806 0.0316 1.0000 0.7218 0.4224
415-AH 0.1458 0.4000 0.5273 0.5948 0.6170 0.4806 0.1305 0.1948 0.4712 0.2716 0.4573 0.4239 0.1059 0.1458 0.6170 0.4806 0.1305
416-AH 0.0909 0.3421 0.5000 0.5556 0.6667 0.4476 0.1605 0.2135 0.5758 0.3586 0.4087 0.3515 0.1310 0.0909 0.6667 0.4476 0.1605
417-AH 0.0000 0.0207 0.0370 0.0649 0.3158 0.0711 0.0932 0.0442 0.3158 1.3107 0.0140 0.0001 0.0626 0.0000 0.0968 0.0355 0.0272
418-AH 0.5238 0.5647 0.6471 0.6923 0.8182 0.6442 0.0946 0.1276 0.2944 0.1468 0.6379 0.6318 0.0795 0.5238 0.8182 0.6442 0.0946
419-AH 0.0103 0.2292 0.3333 0.5000 1.0000 0.3516 0.2226 0.2708 0.9897 0.6330 0.2603 0.1111 0.1620 0.0103 0.5000 0.3156 0.1623
420-AH 0.0452 0.1354 0.5294 0.6000 0.6667 0.3758 0.2443 0.4646 0.6214 0.6502 0.2746 0.1801 0.2326 0.0452 0.6667 0.3758 0.2443
421-AH 0.3077 0.5000 0.6667 0.7786 1.0000 0.6538 0.2093 0.2786 0.6923 0.3201 0.6198 0.5837 0.1596 0.3077 1.0000 0.6538 0.2093
422-AH 0.0000 0.0875 0.2697 0.3947 0.6410 0.2668 0.1851 0.3072 0.6410 0.6937 0.1227 0.0002 0.1453 0.0000 0.6410 0.2668 0.1851
423-AH 0.4286 0.4286 0.4286 0.4286 1.0000 0.5050 0.1832 0.0000 0.5714 0.3627 0.4835 0.4691 0.1212 0.4286 0.4286 0.4286 0.0000
424-AH 0.0234 0.4551 0.6429 0.8392 0.9091 0.6091 0.2628 0.3840 0.8857 0.4316 0.4903 0.2346 0.2135 0.0234 0.9091 0.6091 0.2628
425-AH 0.0061 0.0338 0.1538 0.2000 0.3529 0.1405 0.1122 0.1662 0.3468 0.7989 0.0806 0.0333 0.0920 0.0061 0.3529 0.1405 0.1122
426-AH 0.0000 0.0271 0.0408 0.0522 0.0667 0.0370 0.0181 0.0251 0.0667 0.4897 0.0228 0.0002 0.0147 0.0000 0.0667 0.0370 0.0181
427-AH 0.0876 0.1882 0.2500 0.3523 0.5000 0.2665 0.1116 0.1640 0.4124 0.4186 0.2424 0.2166 0.0917 0.0876 0.5000 0.2665 0.1116
428-AH 0.0000 0.0338 0.7778 0.8750 0.8750 0.5287 0.4024 0.8412 0.8750 0.7611 0.1041 0.0001 0.3719 0.0000 0.8750 0.5287 0.4024
429-AH 0.0158 0.0356 0.0465 0.1354 0.3448 0.1073 0.1063 0.0998 0.3290 0.9904 0.0705 0.0505 0.0841 0.0158 0.2727 0.0820 0.0786
430-AH 0.0000 0.0494 0.1220 0.2151 0.3333 0.1342 0.0960 0.1656 0.3333 0.7155 0.0614 0.0002 0.0774 0.0000 0.3333 0.1342 0.0960
431-AH 0.0397 0.1791 0.5185 0.6591 0.7778 0.4400 0.2689 0.4800 0.7381 0.6112 0.3121 0.1712 0.2310 0.0397 0.7778 0.4400 0.2689
432-AH 0.1316 0.2906 0.3333 0.3610 0.4615 0.3284 0.0752 0.0703 0.3300 0.2289 0.3186 0.3060 0.0549 0.2632 0.4615 0.3393 0.0598
433-AH 0.2195 0.7700 0.9565 1.0000 1.0000 0.8069 0.2999 0.2300 0.7805 0.3716 0.7195 0.5971 0.2416 0.7200 1.0000 0.9541 0.0707
434-AH 0.0909 0.6473 0.8947 0.9844 1.0000 0.7395 0.3290 0.3371 0.9091 0.4448 0.5973 0.3809 0.2613 0.3000 1.0000 0.8585 0.1849
435-AH 0.0000 0.1400 0.3171 0.3984 0.4483 0.2668 0.1585 0.2584 0.4483 0.5939 0.1147 0.0002 0.1321 0.0000 0.4483 0.2668 0.1585
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0047 0.0150 0.0000 0.0645 3.2192 0.0000 0.0000 0.0076 0.0000 0.0000 0.0000 0.0000
437-AH 0.2683 0.6049 0.7333 0.8544 1.0000 0.7172 0.1901 0.2494 0.7317 0.2651 0.6881 0.6512 0.1462 0.2683 1.0000 0.7172 0.1901
438-AH 0.0000 0.0390 0.1600 0.4468 0.5385 0.2194 0.2005 0.4078 0.5385 0.9137 0.0375 0.0001 0.1733 0.0000 0.5385 0.2194 0.2005
439-AH 0.0000 0.0009 0.0132 0.0457 0.1154 0.0290 0.0338 0.0448 0.1154 1.1655 0.0032 0.0000 0.0266 0.0000 0.0833 0.0242 0.0273
440-AH 0.0311 0.0858 0.2000 0.6042 0.6667 0.3146 0.2538 0.5184 0.6356 0.8067 0.2016 0.1182 0.2356 0.0311 0.6667 0.3146 0.2538
441-AH 0.0638 0.9286 1.0000 1.0000 1.0000 0.8477 0.3074 0.0714 0.9362 0.3626 0.7203 0.4587 0.2159 0.9000 1.0000 0.9759 0.0375
442-AH 0.0702 0.8651 1.0000 1.0000 1.0000 0.9035 0.2189 0.1349 0.9298 0.2423 0.8247 0.5693 0.1321 0.7500 1.0000 0.9498 0.0874
443-AH 0.0000 0.0354 0.1165 0.4539 0.6875 0.2209 0.2474 0.4185 0.6875 1.1198 0.0332 0.0001 0.2095 0.0000 0.6875 0.2209 0.2474
444-AH 0.0486 0.1921 0.2414 0.3200 0.4667 0.2345 0.1112 0.1279 0.4180 0.4741 0.2022 0.1629 0.0815 0.0486 0.4667 0.2345 0.1112
445-AH 0.4444 0.5786 1.0000 1.0000 1.0000 0.8307 0.2320 0.4214 0.5556 0.2793 0.7947 0.7550 0.2139 0.4444 1.0000 0.8307 0.2320
446-AH 0.0000 0.0000 0.0035 0.0098 0.0625 0.0083 0.0150 0.0098 0.0625 1.8048 0.0005 0.0000 0.0089 0.0000 0.0132 0.0039 0.0046
447-AH 0.9091 1.0000 1.0000 1.0000 1.0000 0.9833 0.0341 0.0000 0.0909 0.0347 0.9827 0.9821 0.0264 1.0000 1.0000 1.0000 0.0000
448-AH 0.0833 0.6875 1.0000 1.0000 1.0000 0.7815 0.3330 0.3125 0.9167 0.4261 0.6242 0.3654 0.2530 0.6667 1.0000 0.9115 0.1377
449-AH 0.0248 0.4091 0.6667 0.8310 0.9167 0.5965 0.3064 0.4220 0.8919 0.5136 0.4344 0.1982 0.2453 0.0248 0.9167 0.5965 0.3064
450-AH 0.0000 0.0363 0.0457 0.0544 0.0892 0.0435 0.0260 0.0181 0.0892 0.5979 0.0125 0.0001 0.0189 0.0119 0.0803 0.0492 0.0168
96
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0683 0.1596 0.3013 0.6522 0.2174 0.2110 0.2331 0.6522 0.9706 0.0597 0.0001 0.1644 0.0000 0.5769 0.1662 0.1538
402-AH 0.1912 0.4633 0.5714 0.6284 0.7500 0.5378 0.1681 0.1651 0.5588 0.3126 0.5061 0.4667 0.1318 0.2558 0.7500 0.5571 0.1499
403-AH 0.0135 0.0207 0.0417 0.0545 0.0698 0.0387 0.0186 0.0338 0.0563 0.4813 0.0342 0.0301 0.0164 0.0135 0.0698 0.0387 0.0186
404-AH 0.0178 0.0316 0.0495 0.0974 0.2174 0.0696 0.0486 0.0658 0.1996 0.6978 0.0560 0.0451 0.0374 0.0178 0.1111 0.0614 0.0338
405-AH 0.0122 0.0900 0.3333 0.4000 0.5000 0.2739 0.1782 0.3100 0.4878 0.6505 0.1724 0.0686 0.1512 0.0122 0.5000 0.2739 0.1782
406-AH 0.0711 0.2263 0.4500 0.5750 0.8095 0.4263 0.2240 0.3487 0.7384 0.5254 0.3529 0.2678 0.1732 0.0711 0.8095 0.4263 0.2240
407-AH 0.0265 0.2389 0.8000 0.9643 1.0000 0.6489 0.3708 0.7254 0.9735 0.5714 0.4275 0.1718 0.3110 0.0265 1.0000 0.6489 0.3708
408-AH 0.0000 0.2106 0.7619 0.9504 1.0000 0.6098 0.3803 0.7398 1.0000 0.6237 0.1813 0.0001 0.3416 0.0000 1.0000 0.6098 0.3803
409-AH 0.1000 0.2500 0.3333 0.4000 0.6667 0.3570 0.1661 0.1500 0.5667 0.4654 0.3211 0.2850 0.1264 0.1000 0.5000 0.2989 0.1017
410-AH 0.1667 0.5730 0.8947 0.9375 0.9412 0.7566 0.2749 0.3645 0.7745 0.3634 0.6816 0.5744 0.2295 0.1667 0.9412 0.7566 0.2749
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0336 0.0763 0.1575 0.2209 0.0968 0.0749 0.1239 0.2209 0.7739 0.0150 0.0000 0.0654 0.0000 0.2209 0.0968 0.0749
413-AH 0.1528 0.4464 0.5714 0.5977 0.7059 0.4962 0.1651 0.1513 0.5531 0.3326 0.4557 0.3977 0.1241 0.3871 0.7059 0.5589 0.0785
414-AH 0.0316 0.1625 1.0000 1.0000 1.0000 0.7218 0.4224 0.8375 0.9684 0.5852 0.4846 0.2205 0.3806 0.0316 1.0000 0.7218 0.4224
415-AH 0.1086 0.2827 0.4533 0.5307 0.5932 0.4118 0.1412 0.2480 0.4846 0.3428 0.3826 0.3445 0.1247 0.1086 0.5932 0.4118 0.1412
416-AH 0.0909 0.3421 0.5000 0.5455 0.6667 0.4382 0.1587 0.2033 0.5758 0.3622 0.4004 0.3459 0.1336 0.0909 0.6667 0.4382 0.1587
417-AH 0.0000 0.0206 0.0369 0.0636 0.3158 0.0645 0.0797 0.0430 0.3158 1.2358 0.0135 0.0001 0.0535 0.0000 0.0968 0.0348 0.0268
418-AH 0.3871 0.5244 0.5714 0.6780 0.7692 0.5911 0.1061 0.1536 0.3821 0.1795 0.5814 0.5710 0.0863 0.3871 0.7692 0.5911 0.1061
419-AH 0.0103 0.2292 0.3333 0.5000 1.0000 0.3516 0.2226 0.2708 0.9897 0.6330 0.2603 0.1111 0.1620 0.0103 0.5000 0.3156 0.1623
420-AH 0.0317 0.1286 0.4783 0.5209 0.6500 0.3388 0.2389 0.3924 0.6183 0.7053 0.2247 0.1226 0.2247 0.0317 0.6500 0.3388 0.2389
421-AH 0.2286 0.4464 0.5000 0.6948 1.0000 0.5426 0.1910 0.2484 0.7714 0.3520 0.5073 0.4679 0.1432 0.2286 1.0000 0.5426 0.1910
422-AH 0.0000 0.0845 0.1950 0.3121 0.4932 0.2144 0.1621 0.2276 0.4932 0.7563 0.0445 0.0001 0.1271 0.0000 0.4932 0.2144 0.1621
423-AH 0.3750 0.4286 0.4286 0.4286 0.5000 0.4370 0.0306 0.0000 0.1250 0.0699 0.4361 0.4351 0.0199 0.4286 0.4286 0.4286 0.0000
424-AH 0.0234 0.4193 0.6429 0.8392 0.9091 0.5957 0.2771 0.4198 0.8857 0.4652 0.4693 0.2264 0.2275 0.0234 0.9091 0.5957 0.2771
425-AH 0.0000 0.0312 0.1148 0.1875 0.2692 0.1112 0.0934 0.1563 0.2692 0.8402 0.0158 0.0000 0.0804 0.0000 0.2692 0.1112 0.0934
426-AH 0.0000 0.0271 0.0408 0.0522 0.0667 0.0370 0.0181 0.0251 0.0667 0.4897 0.0228 0.0002 0.0147 0.0000 0.0667 0.0370 0.0181
427-AH 0.0876 0.1765 0.2500 0.3156 0.5000 0.2604 0.1106 0.1390 0.4124 0.4248 0.2366 0.2116 0.0893 0.0876 0.5000 0.2604 0.1106
428-AH 0.0000 0.0319 0.7778 0.8750 0.8750 0.5068 0.3920 0.8431 0.8750 0.7734 0.0694 0.0001 0.3570 0.0000 0.8750 0.5068 0.3920
429-AH 0.0000 0.0288 0.0377 0.0609 0.3448 0.0894 0.1108 0.0321 0.3448 1.2393 0.0353 0.0002 0.0864 0.0000 0.0614 0.0346 0.0164
430-AH 0.0000 0.0261 0.1039 0.1674 0.2632 0.1098 0.0828 0.1412 0.2632 0.7546 0.0479 0.0002 0.0651 0.0000 0.2632 0.1098 0.0828
431-AH 0.0210 0.1308 0.4722 0.5507 0.7083 0.3592 0.2346 0.4199 0.6873 0.6531 0.2396 0.1139 0.2106 0.0210 0.7083 0.3592 0.2346
432-AH 0.0667 0.2604 0.3043 0.3509 0.4615 0.3010 0.1007 0.0905 0.3949 0.3345 0.2766 0.2379 0.0718 0.2143 0.4615 0.3271 0.0673
433-AH 0.1901 0.6453 0.9394 0.9673 1.0000 0.7806 0.3101 0.3220 0.8099 0.3973 0.6823 0.5461 0.2570 0.1901 1.0000 0.7806 0.3101
434-AH 0.0490 0.6071 0.8333 0.9272 1.0000 0.6959 0.3312 0.3201 0.9510 0.4759 0.5133 0.2389 0.2581 0.3000 1.0000 0.8166 0.1819
435-AH 0.0000 0.0539 0.2286 0.3204 0.4412 0.2012 0.1499 0.2664 0.4412 0.7448 0.0266 0.0000 0.1296 0.0000 0.4412 0.2012 0.1499
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0047 0.0150 0.0000 0.0645 3.2192 0.0000 0.0000 0.0076 0.0000 0.0000 0.0000 0.0000
437-AH 0.1905 0.5763 0.6522 0.8125 0.8667 0.6561 0.1705 0.2362 0.6762 0.2599 0.6266 0.5816 0.1237 0.4375 0.8667 0.6820 0.1316
438-AH 0.0000 0.0253 0.1092 0.4234 0.5000 0.1937 0.1984 0.3981 0.5000 1.0240 0.0208 0.0000 0.1761 0.0000 0.5000 0.1937 0.1984
439-AH 0.0000 0.0000 0.0089 0.0393 0.0641 0.0185 0.0207 0.0393 0.0641 1.1211 0.0018 0.0000 0.0180 0.0000 0.0641 0.0185 0.0207
440-AH 0.0311 0.0815 0.1628 0.6042 0.6667 0.3100 0.2571 0.5227 0.6356 0.8295 0.1939 0.1130 0.2394 0.0311 0.6667 0.3100 0.2571
441-AH 0.0417 0.9071 1.0000 1.0000 1.0000 0.8377 0.3165 0.0929 0.9583 0.3778 0.6877 0.3679 0.2223 0.9000 1.0000 0.9696 0.0414
442-AH 0.0342 0.7768 0.8889 1.0000 1.0000 0.8437 0.2432 0.2232 0.9658 0.2883 0.7376 0.3786 0.1656 0.5556 1.0000 0.8887 0.1482
443-AH 0.0000 0.0000 0.0514 0.2318 0.6000 0.1628 0.2219 0.2318 0.6000 1.3631 0.0064 0.0000 0.1768 0.0000 0.5769 0.1123 0.1723
444-AH 0.0486 0.1470 0.2051 0.2406 0.4211 0.2051 0.1007 0.0936 0.3724 0.4908 0.1786 0.1494 0.0732 0.0486 0.3810 0.1931 0.0885
445-AH 0.4444 0.5786 1.0000 1.0000 1.0000 0.8307 0.2320 0.4214 0.5556 0.2793 0.7947 0.7550 0.2139 0.4444 1.0000 0.8307 0.2320
446-AH 0.0000 0.0000 0.0035 0.0098 0.0625 0.0083 0.0150 0.0098 0.0625 1.8048 0.0005 0.0000 0.0089 0.0000 0.0132 0.0039 0.0046
447-AH 0.3077 0.8904 1.0000 1.0000 1.0000 0.9126 0.1741 0.1096 0.6923 0.1908 0.8871 0.8442 0.1141 0.8889 1.0000 0.9762 0.0444
448-AH 0.0833 0.6875 1.0000 1.0000 1.0000 0.7815 0.3330 0.3125 0.9167 0.4261 0.6242 0.3654 0.2530 0.6667 1.0000 0.9115 0.1377
449-AH 0.0000 0.2125 0.6087 0.6859 0.8824 0.4916 0.2830 0.4734 0.8824 0.5757 0.2276 0.0002 0.2387 0.0000 0.8824 0.4916 0.2830
450-AH 0.0000 0.0260 0.0453 0.0544 0.0892 0.0391 0.0247 0.0285 0.0892 0.6324 0.0080 0.0000 0.0188 0.0000 0.0892 0.0391 0.0247
97
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0622 0.1216 0.1643 0.5000 0.1385 0.1248 0.1020 0.5000 0.9013 0.0298 0.0001 0.0866 0.0000 0.2903 0.1061 0.0776
402-AH 0.0929 0.2844 0.4815 0.5729 0.7000 0.4233 0.1985 0.2885 0.6071 0.4689 0.3621 0.2862 0.1654 0.0929 0.7000 0.4233 0.1985
403-AH 0.0000 0.0152 0.0325 0.0473 0.0597 0.0316 0.0173 0.0321 0.0597 0.5460 0.0193 0.0002 0.0149 0.0000 0.0597 0.0316 0.0173
404-AH 0.0163 0.0311 0.0476 0.0810 0.1067 0.0567 0.0297 0.0500 0.0903 0.5234 0.0489 0.0416 0.0256 0.0163 0.1067 0.0567 0.0297
405-AH 0.0000 0.0179 0.1579 0.1765 0.3750 0.1288 0.1152 0.1586 0.3750 0.8947 0.0236 0.0001 0.0980 0.0000 0.3750 0.1288 0.1152
406-AH 0.0501 0.2166 0.4062 0.5000 0.7500 0.3947 0.2224 0.2834 0.6999 0.5635 0.3116 0.2145 0.1734 0.0501 0.7500 0.3947 0.2224
407-AH 0.0251 0.2237 0.6667 0.8036 0.8571 0.5397 0.3150 0.5799 0.8320 0.5837 0.3383 0.1201 0.2588 0.0251 0.8571 0.5397 0.3150
408-AH 0.0000 0.1290 0.7586 0.9425 1.0000 0.5524 0.4006 0.8135 1.0000 0.7253 0.1440 0.0001 0.3737 0.0000 1.0000 0.5524 0.4006
409-AH 0.0089 0.0774 0.0968 0.1194 0.2308 0.1033 0.0549 0.0420 0.2219 0.5309 0.0826 0.0485 0.0374 0.0580 0.1500 0.1000 0.0234
410-AH 0.1667 0.4211 0.8824 0.9375 0.9412 0.7126 0.3047 0.5164 0.7745 0.4276 0.6112 0.4773 0.2554 0.1667 0.9412 0.7126 0.3047
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0070 0.0685 0.1314 0.1533 0.0735 0.0603 0.1244 0.1533 0.8212 0.0079 0.0000 0.0551 0.0000 0.1533 0.0735 0.0603
413-AH 0.1455 0.2975 0.5000 0.5769 0.5926 0.4296 0.1613 0.2794 0.4471 0.3754 0.3898 0.3399 0.1340 0.1455 0.5926 0.4296 0.1613
414-AH 0.0000 0.0830 0.2143 1.0000 1.0000 0.5281 0.4633 0.9170 1.0000 0.8773 0.1781 0.0002 0.4471 0.0000 1.0000 0.5281 0.4633
415-AH 0.0663 0.2632 0.4082 0.4591 0.5333 0.3621 0.1303 0.1960 0.4670 0.3598 0.3303 0.2808 0.1134 0.0663 0.5333 0.3621 0.1303
416-AH 0.0909 0.2815 0.4118 0.5000 0.6667 0.4122 0.1549 0.2185 0.5758 0.3758 0.3769 0.3291 0.1256 0.0909 0.6667 0.4122 0.1549
417-AH 0.0000 0.0187 0.0332 0.0541 0.2333 0.0499 0.0576 0.0354 0.2333 1.1548 0.0116 0.0001 0.0385 0.0000 0.0648 0.0284 0.0193
418-AH 0.3077 0.5000 0.5455 0.6000 0.6818 0.5372 0.0965 0.1000 0.3741 0.1797 0.5278 0.5170 0.0728 0.3871 0.6818 0.5500 0.0812
419-AH 0.0065 0.0170 0.2000 0.2431 0.2857 0.1617 0.1093 0.2261 0.2792 0.6760 0.0878 0.0294 0.0953 0.0065 0.2857 0.1617 0.1093
420-AH 0.0000 0.0714 0.2167 0.4636 0.6500 0.2637 0.2194 0.3922 0.6500 0.8321 0.1107 0.0002 0.1920 0.0000 0.6500 0.2637 0.2194
421-AH 0.1579 0.2893 0.4286 0.6022 0.7778 0.4453 0.1831 0.3129 0.6199 0.4111 0.4071 0.3682 0.1553 0.1579 0.7778 0.4453 0.1831
422-AH 0.0000 0.0597 0.1429 0.2548 0.4932 0.1741 0.1507 0.1950 0.4932 0.8652 0.0356 0.0001 0.1143 0.0000 0.4932 0.1741 0.1507
423-AH 0.3750 0.4286 0.4286 0.4286 0.5000 0.4370 0.0306 0.0000 0.1250 0.0699 0.4361 0.4351 0.0199 0.4286 0.4286 0.4286 0.0000
424-AH 0.0234 0.3251 0.5500 0.7726 0.8571 0.5327 0.2718 0.4475 0.8337 0.5103 0.4131 0.2106 0.2312 0.0234 0.8571 0.5327 0.2718
425-AH 0.0000 0.0132 0.0448 0.1135 0.2308 0.0699 0.0706 0.1003 0.2308 1.0099 0.0101 0.0000 0.0552 0.0000 0.2308 0.0699 0.0706
426-AH 0.0000 0.0164 0.0360 0.0435 0.0510 0.0301 0.0174 0.0270 0.0510 0.5802 0.0092 0.0001 0.0146 0.0000 0.0510 0.0301 0.0174
427-AH 0.0876 0.1667 0.2308 0.2932 0.4167 0.2352 0.0942 0.1265 0.3291 0.4008 0.2165 0.1973 0.0766 0.0876 0.4167 0.2352 0.0942
428-AH 0.0000 0.0180 0.0833 0.3794 0.8182 0.2189 0.2764 0.3613 0.8182 1.2625 0.0178 0.0000 0.2278 0.0000 0.8182 0.2189 0.2764
429-AH 0.0000 0.0159 0.0287 0.0487 0.3448 0.0775 0.1087 0.0328 0.3448 1.4038 0.0257 0.0002 0.0843 0.0000 0.0500 0.0240 0.0143
430-AH 0.0000 0.0070 0.0438 0.1310 0.2424 0.0751 0.0836 0.1240 0.2424 1.1137 0.0088 0.0000 0.0702 0.0000 0.2424 0.0751 0.0836
431-AH 0.0000 0.0995 0.3962 0.4683 0.5556 0.3042 0.2033 0.3687 0.5556 0.6685 0.1364 0.0002 0.1852 0.0000 0.5556 0.3042 0.2033
432-AH 0.0667 0.2143 0.2895 0.3420 0.3810 0.2613 0.0997 0.1277 0.3143 0.3814 0.2348 0.1998 0.0785 0.0667 0.3810 0.2613 0.0997
433-AH 0.1337 0.5658 0.9062 0.9673 1.0000 0.7551 0.3193 0.4015 0.8663 0.4228 0.6429 0.4846 0.2629 0.1337 1.0000 0.7551 0.3193
434-AH 0.0000 0.3523 0.8333 0.9000 0.9444 0.6527 0.3514 0.5477 0.9444 0.5384 0.2908 0.0002 0.2903 0.0000 0.9444 0.6527 0.3514
435-AH 0.0000 0.0000 0.0853 0.2559 0.3385 0.1244 0.1286 0.2559 0.3385 1.0341 0.0069 0.0000 0.1099 0.0000 0.3385 0.1244 0.1286
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0043 0.0151 0.0000 0.0645 3.5224 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000
437-AH 0.1905 0.5185 0.5714 0.7443 0.8261 0.5962 0.1695 0.2258 0.6356 0.2842 0.5665 0.5260 0.1337 0.1905 0.8261 0.5962 0.1695
438-AH 0.0000 0.0062 0.0882 0.3556 0.4884 0.1637 0.1781 0.3494 0.4884 1.0878 0.0119 0.0000 0.1524 0.0000 0.4884 0.1637 0.1781
439-AH 0.0000 0.0000 0.0089 0.0262 0.0641 0.0158 0.0183 0.0262 0.0641 1.1547 0.0017 0.0000 0.0148 0.0000 0.0641 0.0158 0.0183
440-AH 0.0183 0.0708 0.1569 0.5176 0.6667 0.2883 0.2426 0.4468 0.6483 0.8414 0.1715 0.0849 0.2217 0.0183 0.6667 0.2883 0.2426
441-AH 0.0417 0.9071 1.0000 1.0000 1.0000 0.8377 0.3165 0.0929 0.9583 0.3778 0.6877 0.3679 0.2223 0.9000 1.0000 0.9696 0.0414
442-AH 0.0342 0.7768 0.8889 1.0000 1.0000 0.8221 0.2514 0.2232 0.9658 0.3058 0.7144 0.3713 0.1740 0.4615 1.0000 0.8659 0.1684
443-AH 0.0000 0.0000 0.0000 0.1522 0.5250 0.1233 0.1912 0.1522 0.5250 1.5511 0.0010 0.0000 0.1507 0.0000 0.1714 0.0310 0.0536
444-AH 0.0457 0.0997 0.1515 0.2108 0.3030 0.1614 0.0792 0.1111 0.2574 0.4906 0.1407 0.1191 0.0619 0.0457 0.3030 0.1614 0.0792
445-AH 0.3750 0.5179 1.0000 1.0000 1.0000 0.7912 0.2599 0.4821 0.6250 0.3285 0.7434 0.6909 0.2418 0.3750 1.0000 0.7912 0.2599
446-AH 0.0000 0.0000 0.0000 0.0098 0.0625 0.0073 0.0148 0.0098 0.0625 2.0153 0.0002 0.0000 0.0088 0.0000 0.0220 0.0043 0.0064
447-AH 0.2000 0.8889 1.0000 1.0000 1.0000 0.8802 0.2177 0.1111 0.8000 0.2474 0.8346 0.7497 0.1441 0.8824 1.0000 0.9658 0.0491
448-AH 0.0508 0.5000 0.6000 0.7500 0.7500 0.5591 0.2542 0.2500 0.6992 0.4547 0.4349 0.2395 0.1981 0.3000 0.7500 0.6531 0.1335
449-AH 0.0000 0.1679 0.4222 0.5114 0.6923 0.3575 0.2183 0.3435 0.6923 0.6105 0.1647 0.0002 0.1843 0.0000 0.6923 0.3575 0.2183
450-AH 0.0000 0.0075 0.0427 0.0525 0.0702 0.0352 0.0238 0.0450 0.0702 0.6763 0.0050 0.0000 0.0196 0.0000 0.0702 0.0352 0.0238
98
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0363 0.0660 0.1062 0.2079 0.0809 0.0638 0.0699 0.2079 0.7890 0.0196 0.0001 0.0504 0.0000 0.2079 0.0809 0.0638
402-AH 0.0291 0.0758 0.1271 0.3620 0.6250 0.2066 0.1866 0.2862 0.5959 0.9032 0.1383 0.0943 0.1567 0.0291 0.6250 0.2066 0.1866
403-AH 0.0000 0.0148 0.0288 0.0412 0.0484 0.0281 0.0150 0.0264 0.0484 0.5325 0.0174 0.0002 0.0130 0.0000 0.0484 0.0281 0.0150
404-AH 0.0132 0.0233 0.0395 0.0643 0.1067 0.0458 0.0295 0.0410 0.0935 0.6442 0.0376 0.0310 0.0235 0.0132 0.1067 0.0458 0.0295
405-AH 0.0000 0.0179 0.1579 0.1765 0.3750 0.1288 0.1152 0.1586 0.3750 0.8947 0.0236 0.0001 0.0980 0.0000 0.3750 0.1288 0.1152
406-AH 0.0000 0.2123 0.3684 0.4833 0.6774 0.3474 0.1967 0.2711 0.6774 0.5661 0.1747 0.0002 0.1556 0.0000 0.6774 0.3474 0.1967
407-AH 0.0145 0.0712 0.4615 0.5864 0.8571 0.3901 0.2925 0.5151 0.8426 0.7498 0.2194 0.0809 0.2478 0.0145 0.8571 0.3901 0.2925
408-AH 0.0000 0.0458 0.7500 0.9075 0.9583 0.4881 0.4097 0.8617 0.9583 0.8395 0.0459 0.0000 0.3898 0.0000 0.9583 0.4881 0.4097
409-AH 0.0089 0.0774 0.0968 0.1194 0.2308 0.1033 0.0549 0.0420 0.2219 0.5309 0.0826 0.0485 0.0374 0.0580 0.1500 0.1000 0.0234
410-AH 0.1667 0.4107 0.8421 0.8933 0.9412 0.6866 0.3008 0.4826 0.7745 0.4381 0.5860 0.4573 0.2503 0.1667 0.9412 0.6866 0.3008
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0000 0.0596 0.1028 0.1200 0.0558 0.0475 0.1028 0.1200 0.8525 0.0044 0.0000 0.0423 0.0000 0.1200 0.0558 0.0475
413-AH 0.1250 0.2313 0.4000 0.4827 0.5667 0.3641 0.1528 0.2514 0.4417 0.4196 0.3260 0.2831 0.1264 0.1250 0.5667 0.3641 0.1528
414-AH 0.0000 0.0830 0.2143 1.0000 1.0000 0.5281 0.4633 0.9170 1.0000 0.8773 0.1781 0.0002 0.4471 0.0000 1.0000 0.5281 0.4633
415-AH 0.0519 0.1794 0.2883 0.4200 0.4563 0.2996 0.1311 0.2406 0.4044 0.4378 0.2637 0.2168 0.1152 0.0519 0.4563 0.2996 0.1311
416-AH 0.0909 0.2491 0.3810 0.4654 0.6667 0.3625 0.1487 0.2163 0.5758 0.4102 0.3284 0.2877 0.1186 0.0909 0.6667 0.3625 0.1487
417-AH 0.0000 0.0187 0.0332 0.0471 0.1455 0.0397 0.0360 0.0284 0.1455 0.9074 0.0106 0.0001 0.0248 0.0000 0.0816 0.0301 0.0213
418-AH 0.1532 0.4750 0.4828 0.5139 0.6818 0.4719 0.1031 0.0389 0.5286 0.2185 0.4562 0.4313 0.0592 0.4722 0.5333 0.4954 0.0234
419-AH 0.0065 0.0170 0.2000 0.2431 0.2857 0.1617 0.1093 0.2261 0.2792 0.6760 0.0878 0.0294 0.0953 0.0065 0.2857 0.1617 0.1093
420-AH 0.0000 0.0661 0.1389 0.2932 0.4688 0.1871 0.1561 0.2271 0.4688 0.8345 0.0833 0.0002 0.1273 0.0000 0.4688 0.1871 0.1561
421-AH 0.0849 0.2676 0.4118 0.5625 0.7778 0.4243 0.1925 0.2949 0.6929 0.4538 0.3733 0.3110 0.1577 0.0849 0.7778 0.4243 0.1925
422-AH 0.0000 0.0471 0.0862 0.2076 0.4773 0.1353 0.1391 0.1605 0.4773 1.0284 0.0178 0.0000 0.1077 0.0000 0.3750 0.1163 0.1150
423-AH 0.0151 0.1080 0.1818 0.2356 0.3333 0.1620 0.0861 0.1276 0.3182 0.5317 0.1266 0.0751 0.0694 0.0151 0.3333 0.1620 0.0861
424-AH 0.0234 0.2549 0.5417 0.7167 0.8235 0.4659 0.2726 0.4618 0.8001 0.5851 0.3493 0.1886 0.2505 0.0234 0.8235 0.4659 0.2726
425-AH 0.0000 0.0000 0.0360 0.0810 0.1695 0.0481 0.0515 0.0810 0.1695 1.0706 0.0025 0.0000 0.0419 0.0000 0.1695 0.0481 0.0515
426-AH 0.0000 0.0164 0.0283 0.0371 0.0504 0.0264 0.0160 0.0207 0.0504 0.6066 0.0081 0.0001 0.0125 0.0000 0.0504 0.0264 0.0160
427-AH 0.0876 0.1650 0.1961 0.2920 0.4167 0.2298 0.0958 0.1271 0.3291 0.4171 0.2107 0.1921 0.0806 0.0876 0.4167 0.2298 0.0958
428-AH 0.0000 0.0000 0.0117 0.1810 0.5000 0.0910 0.1331 0.1810 0.5000 1.4630 0.0020 0.0000 0.0992 0.0000 0.2500 0.0683 0.0915
429-AH 0.0000 0.0025 0.0122 0.0329 0.3448 0.0570 0.0989 0.0304 0.3448 1.7339 0.0037 0.0000 0.0742 0.0000 0.0377 0.0101 0.0100
430-AH 0.0000 0.0018 0.0220 0.0875 0.2424 0.0540 0.0733 0.0857 0.2424 1.3585 0.0045 0.0000 0.0583 0.0000 0.1778 0.0435 0.0590
431-AH 0.0000 0.0820 0.2809 0.3469 0.4000 0.2197 0.1516 0.2649 0.4000 0.6899 0.0448 0.0001 0.1389 0.0000 0.4000 0.2197 0.1516
432-AH 0.0000 0.1807 0.2895 0.3276 0.3448 0.2467 0.1044 0.1469 0.3448 0.4232 0.1411 0.0002 0.0833 0.0000 0.3448 0.2467 0.1044
433-AH 0.1103 0.3578 0.8857 0.9429 0.9697 0.7056 0.3380 0.5851 0.8594 0.4789 0.5681 0.3865 0.2911 0.1103 0.9697 0.7056 0.3380
434-AH 0.0000 0.3051 0.7391 0.8987 0.9444 0.6269 0.3452 0.5936 0.9444 0.5506 0.2800 0.0002 0.2882 0.0000 0.9444 0.6269 0.3452
435-AH 0.0000 0.0000 0.0401 0.2552 0.3385 0.1039 0.1290 0.2552 0.3385 1.2407 0.0024 0.0000 0.1131 0.0000 0.3385 0.1039 0.1290
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0043 0.0151 0.0000 0.0645 3.5224 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000
437-AH 0.1905 0.3881 0.5135 0.6505 0.8261 0.5282 0.1800 0.2624 0.6356 0.3408 0.4952 0.4574 0.1468 0.1905 0.8261 0.5282 0.1800
438-AH 0.0000 0.0000 0.0553 0.2563 0.3871 0.1279 0.1459 0.2563 0.3871 1.1410 0.0044 0.0000 0.1257 0.0000 0.3871 0.1279 0.1459
439-AH 0.0000 0.0000 0.0089 0.0262 0.0641 0.0158 0.0183 0.0262 0.0641 1.1547 0.0017 0.0000 0.0148 0.0000 0.0641 0.0158 0.0183
440-AH 0.0000 0.0706 0.1481 0.4687 0.6111 0.2502 0.2126 0.3981 0.6111 0.8495 0.0708 0.0001 0.1865 0.0000 0.6111 0.2502 0.2126
441-AH 0.0399 0.8214 0.9333 1.0000 1.0000 0.7835 0.3521 0.1786 0.9601 0.4494 0.6087 0.3174 0.2757 0.7857 1.0000 0.9581 0.0587
442-AH 0.0342 0.7194 0.8750 0.8889 1.0000 0.7774 0.2474 0.1694 0.9658 0.3182 0.6738 0.3599 0.1740 0.7000 1.0000 0.8710 0.0910
443-AH 0.0000 0.0000 0.0000 0.0903 0.5250 0.1109 0.1915 0.0903 0.5250 1.7268 0.0006 0.0000 0.1487 0.0000 0.0964 0.0168 0.0317
444-AH 0.0148 0.0634 0.0985 0.1447 0.2600 0.1094 0.0665 0.0813 0.2452 0.6075 0.0900 0.0688 0.0491 0.0148 0.2600 0.1094 0.0665
445-AH 0.3750 0.5179 1.0000 1.0000 1.0000 0.7912 0.2599 0.4821 0.6250 0.3285 0.7434 0.6909 0.2418 0.3750 1.0000 0.7912 0.2599
446-AH 0.0000 0.0000 0.0000 0.0094 0.0625 0.0069 0.0148 0.0094 0.0625 2.1270 0.0001 0.0000 0.0088 0.0000 0.0206 0.0038 0.0062
447-AH 0.2000 0.8616 1.0000 1.0000 1.0000 0.8344 0.2833 0.1384 0.8000 0.3396 0.7532 0.6265 0.2115 0.8571 1.0000 0.9683 0.0516
448-AH 0.0508 0.5000 0.6000 0.7500 0.7500 0.5591 0.2542 0.2500 0.6992 0.4547 0.4349 0.2395 0.1981 0.3000 0.7500 0.6531 0.1335
449-AH 0.0000 0.1620 0.3276 0.4222 0.6129 0.2927 0.1823 0.2602 0.6129 0.6228 0.0599 0.0001 0.1480 0.0000 0.6129 0.2927 0.1823
450-AH 0.0000 0.0000 0.0408 0.0463 0.0633 0.0294 0.0240 0.0463 0.0633 0.8156 0.0021 0.0000 0.0217 0.0000 0.0633 0.0294 0.0240
99
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0467 0.0664 0.2051 0.0587 0.0650 0.0664 0.2051 1.1061 0.0042 0.0000 0.0487 0.0000 0.1290 0.0352 0.0360
402-AH 0.0000 0.0426 0.0904 0.1556 0.2361 0.1050 0.0740 0.1129 0.2361 0.7043 0.0538 0.0002 0.0641 0.0000 0.2361 0.1050 0.0740
403-AH 0.0000 0.0136 0.0201 0.0295 0.0377 0.0205 0.0108 0.0160 0.0377 0.5271 0.0095 0.0001 0.0091 0.0000 0.0377 0.0205 0.0108
404-AH 0.0132 0.0232 0.0294 0.0493 0.1067 0.0398 0.0261 0.0261 0.0935 0.6571 0.0333 0.0284 0.0201 0.0132 0.0708 0.0329 0.0170
405-AH 0.0000 0.0000 0.0430 0.0863 0.1905 0.0504 0.0521 0.0863 0.1905 1.0340 0.0037 0.0000 0.0413 0.0000 0.1905 0.0504 0.0521
406-AH 0.0000 0.0856 0.2069 0.3219 0.4310 0.2240 0.1421 0.2363 0.4310 0.6347 0.1108 0.0002 0.1210 0.0000 0.4310 0.2240 0.1421
407-AH 0.0118 0.0512 0.1667 0.4241 0.8000 0.2635 0.2593 0.3728 0.7882 0.9842 0.1359 0.0535 0.2086 0.0118 0.8000 0.2635 0.2593
408-AH 0.0000 0.0000 0.2097 0.7557 0.8621 0.3783 0.3801 0.7557 0.8621 1.0048 0.0057 0.0000 0.3623 0.0000 0.8621 0.3783 0.3801
409-AH 0.0000 0.0318 0.0580 0.0910 0.1176 0.0589 0.0356 0.0592 0.1176 0.6044 0.0234 0.0001 0.0282 0.0000 0.1176 0.0589 0.0356
410-AH 0.1385 0.3788 0.6667 0.7425 0.7826 0.5665 0.2418 0.3637 0.6441 0.4268 0.4882 0.3861 0.1993 0.1385 0.7826 0.5665 0.2418
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0000 0.0337 0.0742 0.1139 0.0405 0.0403 0.0742 0.1139 0.9950 0.0016 0.0000 0.0356 0.0000 0.1139 0.0405 0.0403
413-AH 0.0201 0.1570 0.2778 0.3394 0.4038 0.2521 0.1183 0.1824 0.3837 0.4695 0.2009 0.1126 0.0945 0.0201 0.4038 0.2521 0.1183
414-AH 0.0000 0.0000 0.0000 0.0278 0.0889 0.0169 0.0254 0.0278 0.0889 1.4989 0.0003 0.0000 0.0196 0.0000 0.0645 0.0129 0.0190
415-AH 0.0000 0.1073 0.2700 0.3721 0.4417 0.2491 0.1422 0.2649 0.4417 0.5711 0.1312 0.0002 0.1219 0.0000 0.4417 0.2491 0.1422
416-AH 0.0909 0.2142 0.3600 0.4239 0.5000 0.3216 0.1340 0.2097 0.4091 0.4167 0.2866 0.2439 0.1100 0.0909 0.5000 0.3216 0.1340
417-AH 0.0000 0.0187 0.0312 0.0403 0.1071 0.0351 0.0291 0.0215 0.1071 0.8284 0.0098 0.0001 0.0199 0.0000 0.0677 0.0272 0.0178
418-AH 0.1532 0.4729 0.4750 0.4937 0.5517 0.4398 0.1148 0.0208 0.3985 0.2610 0.4190 0.3893 0.0842 0.4722 0.5000 0.4770 0.0077
419-AH 0.0065 0.0170 0.2000 0.2431 0.2857 0.1617 0.1093 0.2261 0.2792 0.6760 0.0878 0.0294 0.0953 0.0065 0.2857 0.1617 0.1093
420-AH 0.0000 0.0382 0.0739 0.2023 0.2982 0.1113 0.0978 0.1641 0.2982 0.8787 0.0348 0.0001 0.0822 0.0000 0.2982 0.1113 0.0978
421-AH 0.0777 0.2676 0.3913 0.5250 0.6154 0.3844 0.1640 0.2574 0.5377 0.4266 0.3375 0.2727 0.1390 0.0777 0.6154 0.3844 0.1640
422-AH 0.0000 0.0000 0.0629 0.1211 0.1943 0.0647 0.0710 0.1211 0.1943 1.0959 0.0014 0.0000 0.0615 0.0000 0.1943 0.0647 0.0710
423-AH 0.0151 0.1080 0.1818 0.2356 0.3333 0.1620 0.0861 0.1276 0.3182 0.5317 0.1266 0.0751 0.0694 0.0151 0.3333 0.1620 0.0861
424-AH 0.0234 0.0924 0.2459 0.5769 0.6818 0.3453 0.2525 0.4845 0.6584 0.7312 0.2268 0.1245 0.2365 0.0234 0.6818 0.3453 0.2525
425-AH 0.0000 0.0000 0.0316 0.0573 0.0956 0.0281 0.0306 0.0573 0.0956 1.0902 0.0009 0.0000 0.0266 0.0000 0.0956 0.0281 0.0306
426-AH 0.0000 0.0147 0.0201 0.0281 0.0429 0.0198 0.0134 0.0135 0.0429 0.6769 0.0046 0.0000 0.0103 0.0000 0.0429 0.0198 0.0134
427-AH 0.0123 0.1015 0.1579 0.2437 0.4000 0.1749 0.1122 0.1422 0.3877 0.6416 0.1262 0.0651 0.0855 0.0123 0.4000 0.1749 0.1122
428-AH 0.0000 0.0000 0.0000 0.0670 0.4615 0.0623 0.1141 0.0670 0.4615 1.8326 0.0007 0.0000 0.0738 0.0000 0.1667 0.0300 0.0469
429-AH 0.0000 0.0000 0.0000 0.0203 0.2895 0.0482 0.0893 0.0203 0.2895 1.8546 0.0005 0.0000 0.0684 0.0000 0.0224 0.0048 0.0075
430-AH 0.0000 0.0000 0.0127 0.0875 0.2424 0.0505 0.0741 0.0875 0.2424 1.4669 0.0014 0.0000 0.0588 0.0000 0.1778 0.0398 0.0593
431-AH 0.0000 0.0121 0.2647 0.3245 0.3913 0.1945 0.1548 0.3125 0.3913 0.7959 0.0161 0.0000 0.1424 0.0000 0.3913 0.1945 0.1548
432-AH 0.0000 0.1595 0.2553 0.3235 0.3448 0.2353 0.1025 0.1640 0.3448 0.4356 0.1348 0.0002 0.0798 0.0000 0.3448 0.2353 0.1025
433-AH 0.0000 0.2946 0.6250 0.8620 0.9459 0.5488 0.3254 0.5675 0.9459 0.5930 0.2526 0.0002 0.2689 0.0000 0.9459 0.5488 0.3254
434-AH 0.0000 0.2283 0.7143 0.7837 0.8696 0.5385 0.3193 0.5554 0.8696 0.5929 0.1013 0.0001 0.2711 0.0000 0.8696 0.5385 0.3193
435-AH 0.0000 0.0000 0.0000 0.1766 0.2857 0.0794 0.1111 0.1766 0.2857 1.3989 0.0009 0.0000 0.0941 0.0000 0.2857 0.0794 0.1111
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0043 0.0151 0.0000 0.0645 3.5224 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000
437-AH 0.1810 0.2779 0.5000 0.6132 0.7500 0.4687 0.1813 0.3353 0.5690 0.3868 0.4283 0.3831 0.1490 0.1810 0.7500 0.4687 0.1813
438-AH 0.0000 0.0000 0.0344 0.1953 0.2692 0.0830 0.1028 0.1953 0.2692 1.2387 0.0014 0.0000 0.0891 0.0000 0.2692 0.0830 0.1028
439-AH 0.0000 0.0000 0.0068 0.0205 0.0345 0.0106 0.0121 0.0205 0.0345 1.1379 0.0007 0.0000 0.0104 0.0000 0.0345 0.0106 0.0121
440-AH 0.0000 0.0693 0.1481 0.4687 0.6111 0.2361 0.2060 0.3994 0.6111 0.8725 0.0661 0.0001 0.1830 0.0000 0.6111 0.2361 0.2060
441-AH 0.0399 0.7946 0.9286 0.9844 1.0000 0.7593 0.3681 0.1897 0.9601 0.4848 0.5370 0.2293 0.2895 0.7500 1.0000 0.9420 0.0626
442-AH 0.0342 0.6282 0.8182 0.8889 0.8889 0.7249 0.2434 0.2607 0.8547 0.3358 0.6269 0.3468 0.1908 0.4000 0.8889 0.7633 0.1820
443-AH 0.0000 0.0000 0.0000 0.0625 0.5116 0.1043 0.1858 0.0625 0.5116 1.7806 0.0006 0.0000 0.1447 0.0000 0.0665 0.0127 0.0231
444-AH 0.0148 0.0427 0.0929 0.1310 0.2600 0.0973 0.0690 0.0883 0.2452 0.7094 0.0760 0.0570 0.0497 0.0148 0.2600 0.0973 0.0690
445-AH 0.2667 0.5000 0.6667 0.8000 1.0000 0.6572 0.2467 0.3000 0.7333 0.3754 0.6080 0.5547 0.2064 0.2667 1.0000 0.6572 0.2467
446-AH 0.0000 0.0000 0.0000 0.0094 0.0625 0.0069 0.0148 0.0094 0.0625 2.1270 0.0001 0.0000 0.0088 0.0000 0.0206 0.0038 0.0062
447-AH 0.1597 0.8165 0.8750 0.9500 1.0000 0.7692 0.2842 0.1335 0.8403 0.3695 0.6756 0.5269 0.2121 0.8148 1.0000 0.9035 0.0681
448-AH 0.0385 0.1254 0.1905 0.1976 0.2667 0.1622 0.0709 0.0722 0.2282 0.4370 0.1403 0.1118 0.0566 0.0385 0.2667 0.1622 0.0709
449-AH 0.0000 0.1291 0.2300 0.3164 0.4889 0.2216 0.1435 0.1872 0.4889 0.6475 0.0476 0.0001 0.1137 0.0000 0.4889 0.2216 0.1435
450-AH 0.0000 0.0000 0.0399 0.0436 0.0588 0.0276 0.0224 0.0436 0.0588 0.8123 0.0020 0.0000 0.0203 0.0000 0.0588 0.0276 0.0224
100
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0361 0.0616 0.0179 0.0205 0.0361 0.0616 1.1473 0.0005 0.0000 0.0188 0.0000 0.0616 0.0179 0.0205
402-AH 0.0000 0.0000 0.0331 0.1013 0.1667 0.0576 0.0587 0.1013 0.1667 1.0191 0.0042 0.0000 0.0491 0.0000 0.1667 0.0576 0.0587
403-AH 0.0000 0.0000 0.0139 0.0226 0.0304 0.0134 0.0117 0.0226 0.0304 0.8727 0.0012 0.0000 0.0101 0.0000 0.0304 0.0134 0.0117
404-AH 0.0132 0.0192 0.0246 0.0474 0.0667 0.0324 0.0174 0.0283 0.0535 0.5380 0.0284 0.0251 0.0143 0.0132 0.0667 0.0324 0.0174
405-AH 0.0000 0.0000 0.0430 0.0863 0.1905 0.0504 0.0521 0.0863 0.1905 1.0340 0.0037 0.0000 0.0413 0.0000 0.1905 0.0504 0.0521
406-AH 0.0000 0.0000 0.0748 0.2749 0.4219 0.1376 0.1480 0.2749 0.4219 1.0757 0.0031 0.0000 0.1313 0.0000 0.4219 0.1376 0.1480
407-AH 0.0000 0.0090 0.0816 0.2788 0.8000 0.1803 0.2494 0.2698 0.8000 1.3836 0.0144 0.0000 0.1915 0.0000 0.5333 0.1116 0.1492
408-AH 0.0000 0.0000 0.1618 0.7276 0.7778 0.3175 0.3447 0.7276 0.7778 1.0855 0.0031 0.0000 0.3199 0.0000 0.7778 0.3175 0.3447
409-AH 0.0000 0.0318 0.0580 0.0910 0.1176 0.0589 0.0356 0.0592 0.1176 0.6044 0.0234 0.0001 0.0282 0.0000 0.1176 0.0589 0.0356
410-AH 0.0322 0.2820 0.6000 0.6667 0.6897 0.4617 0.2407 0.3847 0.6574 0.5214 0.3422 0.1727 0.2062 0.0322 0.6897 0.4617 0.2407
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0000 0.0000 0.0390 0.0671 0.0192 0.0241 0.0390 0.0671 1.2562 0.0003 0.0000 0.0222 0.0000 0.0671 0.0192 0.0241
413-AH 0.0000 0.1530 0.2366 0.3170 0.3966 0.2257 0.1250 0.1640 0.3966 0.5540 0.0514 0.0001 0.0982 0.0000 0.3966 0.2257 0.1250
414-AH 0.0000 0.0000 0.0000 0.0278 0.0889 0.0169 0.0254 0.0278 0.0889 1.4989 0.0003 0.0000 0.0196 0.0000 0.0645 0.0129 0.0190
415-AH 0.0000 0.0158 0.1307 0.2818 0.3571 0.1578 0.1294 0.2661 0.3571 0.8200 0.0141 0.0000 0.1104 0.0000 0.3571 0.1578 0.1294
416-AH 0.0909 0.1724 0.3125 0.3643 0.4348 0.2679 0.1156 0.1919 0.3439 0.4315 0.2399 0.2100 0.1020 0.0909 0.4348 0.2679 0.1156
417-AH 0.0000 0.0181 0.0312 0.0396 0.0629 0.0285 0.0175 0.0215 0.0629 0.6120 0.0088 0.0001 0.0137 0.0000 0.0629 0.0285 0.0175
418-AH 0.0207 0.3688 0.4750 0.4750 0.5000 0.3972 0.1467 0.1062 0.4793 0.3694 0.3376 0.1935 0.1174 0.3333 0.5000 0.4672 0.0376
419-AH 0.0065 0.0170 0.2000 0.2431 0.2857 0.1617 0.1093 0.2261 0.2792 0.6760 0.0878 0.0294 0.0953 0.0065 0.2857 0.1617 0.1093
420-AH 0.0000 0.0000 0.0283 0.1514 0.2754 0.0739 0.0940 0.1514 0.2754 1.2718 0.0020 0.0000 0.0782 0.0000 0.2754 0.0739 0.0940
421-AH 0.0435 0.0994 0.3913 0.5000 0.6000 0.3362 0.2026 0.4006 0.5565 0.6026 0.2453 0.1509 0.1750 0.0435 0.6000 0.3362 0.2026
422-AH 0.0000 0.0000 0.0000 0.0000 0.0884 0.0116 0.0280 0.0000 0.0884 2.4083 0.0000 0.0000 0.0196 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0112 0.1087 0.1457 0.3333 0.0941 0.0869 0.1345 0.3333 0.9241 0.0180 0.0001 0.0687 0.0000 0.3333 0.0941 0.0869
424-AH 0.0000 0.0275 0.0867 0.4528 0.5667 0.2002 0.2235 0.4254 0.5667 1.1165 0.0432 0.0001 0.1977 0.0000 0.5667 0.2002 0.2235
425-AH 0.0000 0.0000 0.0212 0.0397 0.0956 0.0234 0.0277 0.0397 0.0956 1.1815 0.0008 0.0000 0.0224 0.0000 0.0956 0.0234 0.0277
426-AH 0.0000 0.0000 0.0151 0.0196 0.0419 0.0130 0.0119 0.0196 0.0419 0.9135 0.0012 0.0000 0.0096 0.0000 0.0419 0.0130 0.0119
427-AH 0.0000 0.0865 0.1359 0.1694 0.3611 0.1437 0.1035 0.0829 0.3611 0.7207 0.0333 0.0001 0.0706 0.0000 0.2889 0.1181 0.0738
428-AH 0.0000 0.0000 0.0000 0.0288 0.2063 0.0320 0.0574 0.0288 0.2063 1.7952 0.0004 0.0000 0.0416 0.0000 0.0307 0.0057 0.0103
429-AH 0.0000 0.0000 0.0000 0.0092 0.1739 0.0300 0.0595 0.0092 0.1739 1.9846 0.0001 0.0000 0.0460 0.0000 0.0123 0.0008 0.0032
430-AH 0.0000 0.0000 0.0107 0.0424 0.1233 0.0296 0.0420 0.0424 0.1233 1.4196 0.0011 0.0000 0.0333 0.0000 0.0957 0.0194 0.0304
431-AH 0.0000 0.0000 0.1962 0.2929 0.3636 0.1604 0.1438 0.2929 0.3636 0.8965 0.0086 0.0000 0.1309 0.0000 0.3636 0.1604 0.1438
432-AH 0.0000 0.0338 0.2500 0.2953 0.3333 0.1785 0.1307 0.2616 0.3333 0.7324 0.0517 0.0001 0.1228 0.0000 0.3333 0.1785 0.1307
433-AH 0.0000 0.2712 0.3545 0.5983 0.8298 0.3937 0.2688 0.3271 0.8298 0.6826 0.0775 0.0001 0.2033 0.0000 0.8298 0.3937 0.2688
434-AH 0.0000 0.2283 0.6765 0.7565 0.8148 0.5181 0.3057 0.5282 0.8148 0.5900 0.0984 0.0001 0.2597 0.0000 0.8148 0.5181 0.3057
435-AH 0.0000 0.0000 0.0000 0.0997 0.2596 0.0573 0.0881 0.0997 0.2596 1.5369 0.0003 0.0000 0.0724 0.0000 0.2368 0.0461 0.0753
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0043 0.0151 0.0000 0.0645 3.5224 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000
437-AH 0.0876 0.2188 0.3846 0.5217 0.5455 0.3663 0.1702 0.3029 0.4579 0.4648 0.3119 0.2459 0.1421 0.0876 0.5455 0.3663 0.1702
438-AH 0.0000 0.0000 0.0000 0.1157 0.2199 0.0546 0.0825 0.1157 0.2199 1.5116 0.0003 0.0000 0.0693 0.0000 0.2199 0.0546 0.0825
439-AH 0.0000 0.0000 0.0000 0.0135 0.0278 0.0053 0.0087 0.0135 0.0278 1.6356 0.0001 0.0000 0.0073 0.0000 0.0278 0.0053 0.0087
440-AH 0.0000 0.0440 0.1348 0.3833 0.4643 0.2014 0.1737 0.3393 0.4643 0.8624 0.0540 0.0001 0.1564 0.0000 0.4643 0.2014 0.1737
441-AH 0.0250 0.6832 0.8824 0.9333 1.0000 0.7155 0.3510 0.2502 0.9750 0.4905 0.4988 0.1923 0.2799 0.6364 1.0000 0.8875 0.0853
442-AH 0.0104 0.1991 0.3462 0.5750 0.8182 0.3711 0.2730 0.3759 0.8078 0.7357 0.2235 0.0690 0.2213 0.0104 0.8182 0.3711 0.2730
443-AH 0.0000 0.0000 0.0000 0.0465 0.4483 0.0866 0.1645 0.0465 0.4483 1.8992 0.0002 0.0000 0.1282 0.0000 0.0523 0.0054 0.0150
444-AH 0.0000 0.0000 0.0390 0.0922 0.1852 0.0583 0.0578 0.0922 0.1852 0.9900 0.0043 0.0000 0.0486 0.0000 0.1852 0.0583 0.0578
445-AH 0.2667 0.5000 0.6667 0.8000 1.0000 0.6572 0.2467 0.3000 0.7333 0.3754 0.6080 0.5547 0.2064 0.2667 1.0000 0.6572 0.2467
446-AH 0.0000 0.0000 0.0000 0.0000 0.0444 0.0031 0.0103 0.0000 0.0444 3.3551 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000
447-AH 0.0693 0.8165 0.8214 0.8504 0.8750 0.6950 0.2986 0.0340 0.8057 0.4297 0.5584 0.3366 0.2351 0.8148 0.8750 0.8439 0.0229
448-AH 0.0385 0.1254 0.1905 0.1976 0.2667 0.1622 0.0709 0.0722 0.2282 0.4370 0.1403 0.1118 0.0566 0.0385 0.2667 0.1622 0.0709
449-AH 0.0000 0.0646 0.1562 0.1862 0.2551 0.1288 0.0801 0.1216 0.2551 0.6222 0.0307 0.0001 0.0676 0.0000 0.2551 0.1288 0.0801
450-AH 0.0000 0.0000 0.0241 0.0386 0.0532 0.0194 0.0198 0.0386 0.0532 1.0219 0.0007 0.0000 0.0184 0.0000 0.0532 0.0194 0.0198
101
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0358 0.0035 0.0105 0.0000 0.0358 3.0050 0.0000 0.0000 0.0063 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0307 0.0695 0.0194 0.0243 0.0307 0.0695 1.2518 0.0005 0.0000 0.0204 0.0000 0.0695 0.0194 0.0243
403-AH 0.0000 0.0000 0.0000 0.0138 0.0276 0.0069 0.0098 0.0138 0.0276 1.4228 0.0002 0.0000 0.0087 0.0000 0.0276 0.0069 0.0098
404-AH 0.0132 0.0192 0.0246 0.0474 0.0667 0.0324 0.0174 0.0283 0.0535 0.5380 0.0284 0.0251 0.0143 0.0132 0.0667 0.0324 0.0174
405-AH 0.0000 0.0000 0.0430 0.0863 0.1905 0.0504 0.0521 0.0863 0.1905 1.0340 0.0037 0.0000 0.0413 0.0000 0.1905 0.0504 0.0521
406-AH 0.0000 0.0000 0.0000 0.1877 0.2959 0.0787 0.1106 0.1877 0.2959 1.4054 0.0004 0.0000 0.0994 0.0000 0.2959 0.0787 0.1106
407-AH 0.0000 0.0090 0.0816 0.2788 0.8000 0.1803 0.2494 0.2698 0.8000 1.3836 0.0144 0.0000 0.1915 0.0000 0.5333 0.1116 0.1492
408-AH 0.0000 0.0000 0.0000 0.4583 0.5167 0.1657 0.2311 0.4583 0.5167 1.3946 0.0005 0.0000 0.2093 0.0000 0.5167 0.1657 0.2311
409-AH 0.0000 0.0318 0.0580 0.0910 0.1176 0.0589 0.0356 0.0592 0.1176 0.6044 0.0234 0.0001 0.0282 0.0000 0.1176 0.0589 0.0356
410-AH 0.0000 0.1053 0.1594 0.2042 0.3385 0.1557 0.0978 0.0989 0.3385 0.6282 0.0364 0.0001 0.0746 0.0000 0.3385 0.1557 0.0978
411-AH 0.0032 0.0074 0.0133 0.0279 0.0667 0.0195 0.0163 0.0204 0.0634 0.8335 0.0143 0.0105 0.0123 0.0032 0.0435 0.0169 0.0119
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.1983 0.2173 0.3380 0.1393 0.1200 0.2173 0.3380 0.8614 0.0054 0.0000 0.1048 0.0000 0.3380 0.1393 0.1200
414-AH 0.0000 0.0000 0.0000 0.0278 0.0889 0.0169 0.0254 0.0278 0.0889 1.4989 0.0003 0.0000 0.0196 0.0000 0.0645 0.0129 0.0190
415-AH 0.0000 0.0000 0.0000 0.1456 0.2300 0.0622 0.0861 0.1456 0.2300 1.3845 0.0004 0.0000 0.0785 0.0000 0.2300 0.0622 0.0861
416-AH 0.0159 0.0534 0.2200 0.3470 0.4074 0.2060 0.1420 0.2936 0.3915 0.6893 0.1412 0.0820 0.1277 0.0159 0.4074 0.2060 0.1420
417-AH 0.0000 0.0128 0.0180 0.0256 0.0356 0.0173 0.0107 0.0128 0.0356 0.6170 0.0042 0.0000 0.0082 0.0000 0.0356 0.0173 0.0107
418-AH 0.0192 0.2612 0.4750 0.4750 0.4750 0.3764 0.1726 0.2137 0.4558 0.4585 0.2944 0.1559 0.1453 0.0192 0.4750 0.3764 0.1726
419-AH 0.0065 0.0170 0.2000 0.2431 0.2857 0.1617 0.1093 0.2261 0.2792 0.6760 0.0878 0.0294 0.0953 0.0065 0.2857 0.1617 0.1093
420-AH 0.0000 0.0000 0.0000 0.0324 0.2059 0.0281 0.0565 0.0324 0.2059 2.0131 0.0001 0.0000 0.0414 0.0000 0.0691 0.0070 0.0198
421-AH 0.0435 0.0994 0.3913 0.5000 0.6000 0.3362 0.2026 0.4006 0.5565 0.6026 0.2453 0.1509 0.1750 0.0435 0.6000 0.3362 0.2026
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0112 0.1087 0.1457 0.3333 0.0941 0.0869 0.1345 0.3333 0.9241 0.0180 0.0001 0.0687 0.0000 0.3333 0.0941 0.0869
424-AH 0.0000 0.0000 0.0217 0.1394 0.5294 0.1133 0.1837 0.1394 0.5294 1.6209 0.0014 0.0000 0.1465 0.0000 0.1622 0.0238 0.0442
425-AH 0.0000 0.0000 0.0000 0.0228 0.0814 0.0141 0.0218 0.0228 0.0814 1.5530 0.0003 0.0000 0.0163 0.0000 0.0486 0.0103 0.0150
426-AH 0.0000 0.0000 0.0151 0.0196 0.0419 0.0130 0.0119 0.0196 0.0419 0.9135 0.0012 0.0000 0.0096 0.0000 0.0419 0.0130 0.0119
427-AH 0.0000 0.0635 0.0940 0.1356 0.1556 0.0910 0.0501 0.0721 0.1556 0.5503 0.0240 0.0001 0.0396 0.0000 0.1556 0.0910 0.0501
428-AH 0.0000 0.0000 0.0000 0.0000 0.1284 0.0210 0.0440 0.0000 0.1284 2.0913 0.0001 0.0000 0.0332 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0148 0.0008 0.0034 0.0000 0.0148 4.3589 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0107 0.0424 0.1233 0.0296 0.0420 0.0424 0.1233 1.4196 0.0011 0.0000 0.0333 0.0000 0.0957 0.0194 0.0304
431-AH 0.0000 0.0000 0.1392 0.2136 0.3267 0.1120 0.1123 0.2136 0.3267 1.0029 0.0029 0.0000 0.1006 0.0000 0.3267 0.1120 0.1123
432-AH 0.0000 0.0257 0.2449 0.2791 0.3077 0.1607 0.1240 0.2534 0.3077 0.7719 0.0451 0.0001 0.1170 0.0000 0.3077 0.1607 0.1240
433-AH 0.0000 0.0166 0.1807 0.2780 0.3981 0.1599 0.1318 0.2613 0.3981 0.8247 0.0142 0.0000 0.1142 0.0000 0.3981 0.1599 0.1318
434-AH 0.0000 0.2082 0.6154 0.7273 0.7500 0.4831 0.2877 0.5190 0.7500 0.5954 0.0928 0.0001 0.2442 0.0000 0.7500 0.4831 0.2877
435-AH 0.0000 0.0000 0.0000 0.0415 0.1154 0.0197 0.0358 0.0415 0.1154 1.8152 0.0001 0.0000 0.0291 0.0000 0.0746 0.0144 0.0281
436-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0043 0.0151 0.0000 0.0645 3.5224 0.0000 0.0000 0.0077 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.1085 0.2047 0.2385 0.3421 0.1758 0.1024 0.1300 0.3421 0.5827 0.0412 0.0001 0.0821 0.0000 0.3421 0.1758 0.1024
438-AH 0.0000 0.0000 0.0000 0.0000 0.1683 0.0268 0.0553 0.0000 0.1683 2.0623 0.0001 0.0000 0.0423 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0135 0.0278 0.0053 0.0087 0.0135 0.0278 1.6356 0.0001 0.0000 0.0073 0.0000 0.0278 0.0053 0.0087
440-AH 0.0000 0.0207 0.0985 0.2627 0.4643 0.1607 0.1636 0.2420 0.4643 1.0176 0.0265 0.0001 0.1361 0.0000 0.4643 0.1607 0.1636
441-AH 0.0165 0.0746 0.8333 0.8824 0.9375 0.5432 0.4053 0.8078 0.9210 0.7462 0.2753 0.0839 0.3849 0.0165 0.9375 0.5432 0.4053
442-AH 0.0104 0.1991 0.3462 0.5750 0.8182 0.3711 0.2730 0.3759 0.8078 0.7357 0.2235 0.0690 0.2213 0.0104 0.8182 0.3711 0.2730
443-AH 0.0000 0.0000 0.0000 0.0247 0.3750 0.0696 0.1368 0.0247 0.3750 1.9651 0.0001 0.0000 0.1064 0.0000 0.0329 0.0022 0.0085
444-AH 0.0000 0.0000 0.0255 0.0799 0.1345 0.0393 0.0422 0.0799 0.1345 1.0752 0.0022 0.0000 0.0361 0.0000 0.1345 0.0393 0.0422
445-AH 0.2667 0.5000 0.6667 0.8000 1.0000 0.6572 0.2467 0.3000 0.7333 0.3754 0.6080 0.5547 0.2064 0.2667 1.0000 0.6572 0.2467
446-AH 0.0000 0.0000 0.0000 0.0000 0.0444 0.0031 0.0103 0.0000 0.0444 3.3551 0.0000 0.0000 0.0051 0.0000 0.0000 0.0000 0.0000
447-AH 0.0323 0.7931 0.8214 0.8214 0.8519 0.6708 0.3027 0.0283 0.8196 0.4512 0.4967 0.2071 0.2383 0.7931 0.8519 0.8217 0.0157
448-AH 0.0385 0.1254 0.1905 0.1976 0.2667 0.1622 0.0709 0.0722 0.2282 0.4370 0.1403 0.1118 0.0566 0.0385 0.2667 0.1622 0.0709
449-AH 0.0000 0.0450 0.0808 0.1056 0.2160 0.0776 0.0588 0.0606 0.2160 0.7578 0.0131 0.0000 0.0443 0.0000 0.1776 0.0699 0.0497
450-AH 0.0000 0.0000 0.0000 0.0295 0.0364 0.0116 0.0158 0.0295 0.0364 1.3593 0.0002 0.0000 0.0146 0.0000 0.0364 0.0116 0.0158
102
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.2500 0.6000 0.7500 1.0000 0.5158 0.2693 0.5000 1.0000 0.5221 0.2731 0.0002 0.2238 0.0000 1.0000 0.5158 0.2693
402-AH 0.6000 0.8000 0.8000 1.0000 1.0000 0.8526 0.1467 0.2000 0.4000 0.1721 0.8398 0.8261 0.1241 0.6000 1.0000 0.8526 0.1467
403-AH 0.0000 0.0000 0.0000 0.3500 0.4000 0.1263 0.1790 0.3500 0.4000 1.4172 0.0005 0.0000 0.1596 0.0000 0.4000 0.1263 0.1790
404-AH 0.0000 0.4000 0.4000 0.4000 0.6000 0.3579 0.1710 0.0000 0.6000 0.4778 0.0783 0.0001 0.1130 0.4000 0.4000 0.4000 0.0000
405-AH 0.0000 0.2000 0.2000 0.4000 0.4000 0.2526 0.1124 0.2000 0.4000 0.4449 0.1478 0.0002 0.0931 0.0000 0.4000 0.2526 0.1124
406-AH 0.2000 0.4000 0.6000 0.8000 0.8000 0.6105 0.2052 0.4000 0.6000 0.3361 0.5710 0.5241 0.1795 0.2000 0.8000 0.6105 0.2052
407-AH 0.0000 0.2500 0.8000 0.8000 0.8000 0.5789 0.3259 0.5500 0.8000 0.5629 0.1104 0.0001 0.2814 0.0000 0.8000 0.5789 0.3259
408-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9158 0.1803 0.0000 0.6000 0.1969 0.8925 0.8604 0.1330 1.0000 1.0000 1.0000 0.0000
409-AH 0.2000 0.2000 0.2000 0.4000 0.4000 0.2737 0.0991 0.2000 0.2000 0.3622 0.2582 0.2452 0.0931 0.2000 0.4000 0.2737 0.0991
410-AH 0.6000 0.8000 0.8000 1.0000 1.0000 0.8421 0.1427 0.2000 0.4000 0.1694 0.8300 0.8172 0.1163 0.6000 1.0000 0.8421 0.1427
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.4000 0.6000 0.8000 0.8000 0.5368 0.2587 0.4000 0.8000 0.4818 0.2886 0.0002 0.2205 0.0000 0.8000 0.5368 0.2587
413-AH 0.4000 0.6000 0.6000 0.6000 0.8000 0.5895 0.1243 0.0000 0.4000 0.2108 0.5765 0.5630 0.0798 0.6000 0.6000 0.6000 0.0000
414-AH 0.0000 0.2000 0.4000 0.6000 0.6000 0.4000 0.2309 0.4000 0.6000 0.5774 0.0815 0.0001 0.1895 0.0000 0.6000 0.4000 0.2309
415-AH 0.2000 0.2000 0.6000 0.6000 0.8000 0.4737 0.2423 0.4000 0.6000 0.5115 0.4075 0.3455 0.2172 0.2000 0.8000 0.4737 0.2423
416-AH 0.0000 0.2500 0.4000 0.5500 0.8000 0.3789 0.2200 0.3000 0.8000 0.5807 0.0788 0.0001 0.1573 0.0000 0.8000 0.3789 0.2200
417-AH 0.0000 0.0000 0.0000 0.1500 0.6000 0.1158 0.2141 0.1500 0.6000 1.8492 0.0002 0.0000 0.1706 0.0000 0.2000 0.0133 0.0516
418-AH 0.6000 0.6000 0.8000 0.8000 1.0000 0.7474 0.1467 0.2000 0.4000 0.1963 0.7342 0.7215 0.1241 0.6000 1.0000 0.7474 0.1467
419-AH 0.0000 0.2000 0.2000 0.2000 0.2000 0.1684 0.0749 0.0000 0.2000 0.4449 0.0419 0.0001 0.0532 0.2000 0.2000 0.2000 0.0000
420-AH 0.2000 0.2500 0.4000 0.6000 0.8000 0.4316 0.1797 0.3500 0.6000 0.4163 0.3929 0.3535 0.1452 0.2000 0.8000 0.4316 0.1797
421-AH 0.2000 0.4000 0.6000 0.7500 1.0000 0.5789 0.2097 0.3500 0.8000 0.3622 0.5356 0.4831 0.1551 0.2000 1.0000 0.5789 0.2097
422-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.3158 0.2243 0.2000 0.8000 0.7102 0.0643 0.0001 0.1850 0.0000 0.6000 0.2889 0.1967
423-AH 0.2000 0.2000 0.2000 0.2000 0.4000 0.2421 0.0838 0.0000 0.2000 0.3460 0.2314 0.2235 0.0665 0.2000 0.2000 0.2000 0.0000
424-AH 0.2000 0.8000 0.8000 0.8000 1.0000 0.7158 0.2035 0.0000 0.8000 0.2843 0.6745 0.6129 0.1540 0.8000 0.8000 0.8000 0.0000
425-AH 0.0000 0.2000 0.2000 0.2000 0.4000 0.2105 0.1243 0.0000 0.4000 0.5902 0.0485 0.0001 0.0798 0.2000 0.2000 0.2000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0105 0.0459 0.0000 0.2000 4.3589 0.0000 0.0000 0.0199 0.0000 0.0000 0.0000 0.0000
427-AH 0.2000 0.2000 0.4000 0.4000 0.6000 0.3368 0.1499 0.2000 0.4000 0.4449 0.3071 0.2815 0.1296 0.2000 0.6000 0.3368 0.1499
428-AH 0.0000 0.0000 0.8000 0.8000 1.0000 0.5158 0.3905 0.8000 1.0000 0.7572 0.0210 0.0000 0.3590 0.0000 1.0000 0.5158 0.3905
429-AH 0.0000 0.2000 0.4000 0.4000 0.4000 0.2842 0.1385 0.2000 0.4000 0.4873 0.1016 0.0001 0.1219 0.0000 0.4000 0.2842 0.1385
430-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1789 0.1619 0.2000 0.6000 0.9045 0.0100 0.0000 0.1130 0.0000 0.4000 0.1556 0.1294
431-AH 0.0000 0.6500 1.0000 1.0000 1.0000 0.7579 0.3626 0.3500 1.0000 0.4784 0.1468 0.0001 0.2726 0.6000 1.0000 0.9000 0.1461
432-AH 0.2000 0.2000 0.2000 0.4000 0.6000 0.3263 0.1522 0.2000 0.4000 0.4663 0.2961 0.2714 0.1330 0.2000 0.6000 0.3263 0.1522
433-AH 0.4000 1.0000 1.0000 1.0000 1.0000 0.9053 0.2248 0.0000 0.6000 0.2483 0.8653 0.8085 0.1596 1.0000 1.0000 1.0000 0.0000
434-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7368 0.2753 0.4000 0.8000 0.3736 0.6590 0.5468 0.2127 0.2000 1.0000 0.7368 0.2753
435-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1579 0.1427 0.2000 0.4000 0.9035 0.0058 0.0000 0.1163 0.0000 0.4000 0.1579 0.1427
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.4000 0.6000 0.8000 0.8000 1.0000 0.7158 0.2141 0.2000 0.6000 0.2991 0.6820 0.6459 0.1817 0.4000 1.0000 0.7158 0.2141
438-AH 0.0000 0.2000 0.6000 0.8000 0.8000 0.4947 0.3009 0.6000 0.8000 0.6082 0.0952 0.0001 0.2593 0.0000 0.8000 0.4947 0.3009
439-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1263 0.0991 0.2000 0.2000 0.7847 0.0052 0.0000 0.0931 0.0000 0.2000 0.1263 0.0991
440-AH 0.0000 0.2000 0.2000 0.6000 0.8000 0.3263 0.2423 0.4000 0.8000 0.7426 0.0647 0.0001 0.2094 0.0000 0.8000 0.3263 0.2423
441-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8105 0.3160 0.2000 1.0000 0.3899 0.4343 0.0002 0.2194 0.8000 1.0000 0.9375 0.0957
442-AH 0.2000 0.8000 0.8000 1.0000 1.0000 0.8526 0.1982 0.2000 0.8000 0.2325 0.8142 0.7403 0.1396 0.6000 1.0000 0.8889 0.1231
443-AH 0.0000 0.0000 0.4000 0.8000 0.8000 0.4000 0.3399 0.8000 0.8000 0.8498 0.0170 0.0000 0.2947 0.0000 0.8000 0.4000 0.3399
444-AH 0.0000 0.4000 0.6000 0.6000 0.8000 0.4632 0.2006 0.2000 0.8000 0.4331 0.2580 0.0002 0.1651 0.2000 0.8000 0.4889 0.1711
445-AH 0.4000 0.4000 0.6000 0.8000 0.8000 0.6211 0.1751 0.4000 0.4000 0.2819 0.5959 0.5700 0.1507 0.4000 0.8000 0.6211 0.1751
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9789 0.0631 0.0000 0.2000 0.0644 0.9768 0.9744 0.0377 1.0000 1.0000 1.0000 0.0000
448-AH 0.0000 0.4000 0.6000 0.6000 0.6000 0.4737 0.2232 0.2000 0.6000 0.4712 0.0991 0.0001 0.1729 0.4000 0.6000 0.5625 0.0806
449-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7579 0.3024 0.4000 0.8000 0.3990 0.6682 0.5455 0.2471 0.2000 1.0000 0.7579 0.3024
450-AH 0.0000 0.2000 0.2000 0.4000 0.6000 0.3158 0.1922 0.2000 0.6000 0.6088 0.1066 0.0001 0.1640 0.0000 0.6000 0.3158 0.1922
103
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.3000 0.4000 0.6000 0.8000 0.4421 0.2244 0.3000 0.8000 0.5075 0.2369 0.0002 0.1856 0.0000 0.8000 0.4421 0.2244
402-AH 0.4000 0.7000 0.8000 0.8000 0.8000 0.7263 0.1240 0.1000 0.4000 0.1707 0.7138 0.6982 0.0931 0.7000 0.8000 0.7750 0.0447
403-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1263 0.1147 0.2000 0.3000 0.9081 0.0077 0.0000 0.0964 0.0000 0.3000 0.1263 0.1147
404-AH 0.0000 0.2000 0.2000 0.2000 0.3000 0.1895 0.0937 0.0000 0.3000 0.4943 0.0456 0.0001 0.0598 0.2000 0.2000 0.2000 0.0000
405-AH 0.0000 0.1000 0.2000 0.2000 0.3000 0.1737 0.0733 0.1000 0.3000 0.4223 0.1033 0.0002 0.0571 0.0000 0.3000 0.1737 0.0733
406-AH 0.2000 0.4000 0.5000 0.7500 0.9000 0.5421 0.1924 0.3500 0.7000 0.3549 0.5088 0.4737 0.1524 0.2000 0.9000 0.5421 0.1924
407-AH 0.0000 0.2750 0.5000 0.5750 0.8000 0.4368 0.2385 0.3000 0.8000 0.5461 0.1394 0.0001 0.1878 0.0000 0.8000 0.4368 0.2385
408-AH 0.5000 0.6250 0.9000 1.0000 1.0000 0.8316 0.1887 0.3750 0.5000 0.2269 0.8085 0.7831 0.1634 0.5000 1.0000 0.8316 0.1887
409-AH 0.1000 0.2000 0.2000 0.2000 0.2000 0.1789 0.0419 0.0000 0.1000 0.2341 0.1728 0.1652 0.0332 0.2000 0.2000 0.2000 0.0000
410-AH 0.5000 0.8000 0.9000 0.9000 0.9000 0.8158 0.1259 0.1000 0.4000 0.1543 0.8049 0.7922 0.0975 0.7000 0.9000 0.8625 0.0619
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.2000 0.2000 0.4000 0.6000 0.7000 0.4158 0.1951 0.4000 0.5000 0.4693 0.3687 0.3247 0.1745 0.2000 0.7000 0.4158 0.1951
413-AH 0.4000 0.6000 0.7000 0.7000 0.8000 0.6316 0.1057 0.1000 0.4000 0.1673 0.6219 0.6108 0.0825 0.5000 0.8000 0.6588 0.0712
414-AH 0.0000 0.1250 0.2000 0.3000 0.3000 0.2158 0.0958 0.1750 0.3000 0.4440 0.1244 0.0002 0.0798 0.0000 0.3000 0.2158 0.0958
415-AH 0.1000 0.5000 0.5000 0.5750 0.9000 0.5105 0.1524 0.0750 0.8000 0.2985 0.4792 0.4219 0.0892 0.4000 0.6000 0.5000 0.0632
416-AH 0.1000 0.3250 0.4000 0.5000 0.6000 0.4053 0.1471 0.1750 0.5000 0.3630 0.3664 0.3089 0.1108 0.1000 0.6000 0.4053 0.1471
417-AH 0.0000 0.0000 0.0000 0.1750 0.3000 0.0789 0.1084 0.1750 0.3000 1.3733 0.0006 0.0000 0.0914 0.0000 0.3000 0.0789 0.1084
418-AH 0.5000 0.6000 0.6000 0.7000 0.8000 0.6421 0.1017 0.1000 0.3000 0.1584 0.6344 0.6266 0.0864 0.5000 0.8000 0.6421 0.1017
419-AH 0.0000 0.1000 0.2000 0.2000 0.2000 0.1474 0.0772 0.1000 0.2000 0.5241 0.0362 0.0001 0.0665 0.0000 0.2000 0.1474 0.0772
420-AH 0.2000 0.3250 0.5000 0.6000 0.7000 0.4632 0.1535 0.2750 0.5000 0.3315 0.4327 0.3964 0.1241 0.2000 0.7000 0.4632 0.1535
421-AH 0.2000 0.4000 0.5000 0.5750 0.7000 0.4789 0.1357 0.1750 0.5000 0.2834 0.4565 0.4283 0.1003 0.2000 0.7000 0.4789 0.1357
422-AH 0.0000 0.2000 0.3000 0.4750 0.7000 0.3421 0.2063 0.2750 0.7000 0.6031 0.1792 0.0002 0.1706 0.0000 0.7000 0.3421 0.2063
423-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
424-AH 0.4000 0.4250 0.7000 0.8000 0.9000 0.6211 0.1843 0.3750 0.5000 0.2968 0.5944 0.5682 0.1673 0.4000 0.9000 0.6211 0.1843
425-AH 0.1000 0.2000 0.2000 0.3000 0.4000 0.2211 0.0787 0.1000 0.3000 0.3562 0.2069 0.1916 0.0604 0.1000 0.4000 0.2211 0.0787
426-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0105 0.0315 0.0000 0.1000 2.9954 0.0000 0.0000 0.0188 0.0000 0.0000 0.0000 0.0000
427-AH 0.1000 0.2000 0.3000 0.3000 0.5000 0.2737 0.1147 0.1000 0.4000 0.4191 0.2503 0.2262 0.0909 0.1000 0.4000 0.2471 0.0874
428-AH 0.0000 0.0250 0.7000 0.7000 0.8000 0.4526 0.3405 0.6750 0.8000 0.7523 0.0301 0.0000 0.3125 0.0000 0.8000 0.4526 0.3405
429-AH 0.1000 0.1000 0.2000 0.2000 0.4000 0.1895 0.0875 0.1000 0.3000 0.4619 0.1713 0.1551 0.0659 0.1000 0.3000 0.1778 0.0732
430-AH 0.0000 0.1000 0.1000 0.3000 0.3000 0.1474 0.1172 0.2000 0.3000 0.7955 0.0211 0.0000 0.1019 0.0000 0.3000 0.1474 0.1172
431-AH 0.0000 0.4250 0.6000 0.8000 0.9000 0.5684 0.2647 0.3750 0.9000 0.4657 0.2955 0.0002 0.2083 0.0000 0.9000 0.5684 0.2647
432-AH 0.2000 0.3000 0.3000 0.3000 0.3000 0.2947 0.0229 0.0000 0.1000 0.0778 0.2937 0.2923 0.0100 0.3000 0.3000 0.3000 0.0000
433-AH 0.4000 0.9000 1.0000 1.0000 1.0000 0.8632 0.2191 0.1000 0.6000 0.2539 0.8260 0.7760 0.1634 0.9000 1.0000 0.9667 0.0488
434-AH 0.2000 0.8000 0.9000 0.9750 1.0000 0.7789 0.2720 0.1750 0.8000 0.3492 0.6981 0.5717 0.1911 0.7000 1.0000 0.8875 0.0957
435-AH 0.0000 0.2000 0.2000 0.3000 0.4000 0.2211 0.1134 0.1000 0.4000 0.5131 0.0801 0.0001 0.0875 0.1000 0.4000 0.2471 0.0874
436-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0053 0.0229 0.0000 0.1000 4.3589 0.0000 0.0000 0.0100 0.0000 0.0000 0.0000 0.0000
437-AH 0.4000 0.6000 0.7000 0.9000 1.0000 0.7368 0.1862 0.3000 0.6000 0.2527 0.7129 0.6876 0.1546 0.4000 1.0000 0.7368 0.1862
438-AH 0.0000 0.3250 0.4000 0.5750 0.7000 0.4053 0.2041 0.2500 0.7000 0.5035 0.1369 0.0001 0.1435 0.0000 0.7000 0.4053 0.2041
439-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0632 0.0496 0.1000 0.1000 0.7847 0.0034 0.0000 0.0465 0.0000 0.1000 0.0632 0.0496
440-AH 0.0000 0.1000 0.3000 0.5000 0.6000 0.3211 0.2200 0.4000 0.6000 0.6854 0.1545 0.0002 0.2011 0.0000 0.6000 0.3211 0.2200
441-AH 0.0000 0.9000 0.9000 1.0000 1.0000 0.8474 0.2736 0.1000 1.0000 0.3229 0.4765 0.0002 0.1834 0.9000 1.0000 0.9562 0.0512
442-AH 0.2000 0.7000 0.8000 0.8000 0.8000 0.7211 0.1584 0.1000 0.6000 0.2197 0.6930 0.6433 0.1080 0.7000 0.8000 0.7813 0.0403
443-AH 0.0000 0.1000 0.3000 0.5750 0.7000 0.3316 0.2647 0.4750 0.7000 0.7983 0.0604 0.0001 0.2332 0.0000 0.7000 0.3316 0.2647
444-AH 0.0000 0.3000 0.4000 0.5000 0.5000 0.3421 0.1539 0.2000 0.5000 0.4499 0.1898 0.0002 0.1241 0.1000 0.5000 0.3611 0.1335
445-AH 0.3000 0.4000 0.4000 0.4000 0.4000 0.3842 0.0375 0.0000 0.1000 0.0975 0.3822 0.3800 0.0266 0.4000 0.4000 0.4000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9000 1.0000 1.0000 1.0000 1.0000 0.9789 0.0419 0.0000 0.1000 0.0428 0.9781 0.9771 0.0332 1.0000 1.0000 1.0000 0.0000
448-AH 0.1000 0.3000 0.3000 0.3000 0.3000 0.2684 0.0749 0.0000 0.2000 0.2791 0.2522 0.2280 0.0532 0.3000 0.3000 0.3000 0.0000
449-AH 0.2000 0.5250 0.7000 0.9000 1.0000 0.6842 0.2734 0.3750 0.8000 0.3996 0.6111 0.5153 0.2183 0.2000 1.0000 0.6842 0.2734
450-AH 0.0000 0.1250 0.2000 0.3000 0.3000 0.2053 0.0911 0.1750 0.3000 0.4440 0.1192 0.0002 0.0698 0.0000 0.3000 0.2053 0.0911
104
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.2667 0.3333 0.5833 0.7333 0.4035 0.2078 0.3167 0.6667 0.5151 0.3439 0.2746 0.1791 0.0667 0.7333 0.4035 0.2078
402-AH 0.4667 0.5333 0.6000 0.6667 0.7333 0.6070 0.0913 0.1333 0.2667 0.1505 0.6004 0.5936 0.0720 0.4667 0.7333 0.6070 0.0913
403-AH 0.0000 0.0000 0.0667 0.1833 0.2000 0.0912 0.0808 0.1833 0.2000 0.8854 0.0062 0.0000 0.0705 0.0000 0.2000 0.0912 0.0808
404-AH 0.1333 0.1333 0.1333 0.1833 0.2667 0.1544 0.0388 0.0500 0.1333 0.2515 0.1506 0.1476 0.0310 0.1333 0.2000 0.1481 0.0285
405-AH 0.0000 0.0667 0.1333 0.1333 0.2000 0.1228 0.0556 0.0667 0.2000 0.4529 0.0734 0.0002 0.0425 0.0000 0.2000 0.1228 0.0556
406-AH 0.2000 0.4667 0.4667 0.6500 0.8667 0.5298 0.1655 0.1833 0.6667 0.3124 0.5046 0.4769 0.1289 0.2000 0.8667 0.5298 0.1655
407-AH 0.0667 0.1833 0.4000 0.4500 0.5333 0.3368 0.1625 0.2667 0.4667 0.4824 0.2775 0.2023 0.1293 0.0667 0.5333 0.3368 0.1625
408-AH 0.3333 0.4667 0.8000 0.9333 1.0000 0.7404 0.2552 0.4667 0.6667 0.3447 0.6899 0.6337 0.2172 0.3333 1.0000 0.7404 0.2552
409-AH 0.0667 0.1333 0.1333 0.1333 0.2000 0.1368 0.0270 0.0000 0.1333 0.1971 0.1342 0.1310 0.0133 0.1333 0.1333 0.1333 0.0000
410-AH 0.4667 0.7000 0.8667 0.9333 0.9333 0.7825 0.1803 0.2333 0.4667 0.2305 0.7585 0.7302 0.1452 0.4667 0.9333 0.7825 0.1803
411-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0035 0.0153 0.0000 0.0667 4.3589 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000
412-AH 0.1333 0.2000 0.4000 0.4667 0.6667 0.3509 0.1631 0.2667 0.5333 0.4647 0.3123 0.2751 0.1429 0.1333 0.6667 0.3509 0.1631
413-AH 0.4000 0.5333 0.5333 0.6000 0.6667 0.5544 0.0739 0.0667 0.2667 0.1333 0.5493 0.5439 0.0572 0.4667 0.6667 0.5725 0.0530
414-AH 0.0000 0.1333 0.2000 0.2000 0.2000 0.1579 0.0637 0.0667 0.2000 0.4033 0.0937 0.0002 0.0532 0.0667 0.2000 0.1667 0.0524
415-AH 0.2000 0.5333 0.5333 0.6000 0.8000 0.5579 0.1201 0.0667 0.6000 0.2153 0.5413 0.5168 0.0820 0.4667 0.6667 0.5647 0.0672
416-AH 0.2000 0.2667 0.4000 0.4667 0.5333 0.3825 0.1108 0.2000 0.3333 0.2896 0.3654 0.3470 0.0975 0.2000 0.5333 0.3825 0.1108
417-AH 0.0000 0.0000 0.0000 0.1167 0.2667 0.0702 0.0981 0.1167 0.2667 1.3974 0.0009 0.0000 0.0753 0.0000 0.2667 0.0702 0.0981
418-AH 0.4667 0.5333 0.6000 0.6667 0.7333 0.5895 0.0746 0.1333 0.2667 0.1265 0.5850 0.5805 0.0613 0.4667 0.7333 0.5895 0.0746
419-AH 0.0000 0.0667 0.1333 0.1333 0.1333 0.1088 0.0398 0.0667 0.1333 0.3661 0.0674 0.0002 0.0336 0.0000 0.1333 0.1088 0.0398
420-AH 0.1333 0.2667 0.5333 0.6000 0.6667 0.4316 0.1851 0.3333 0.5333 0.4289 0.3835 0.3289 0.1669 0.1333 0.6667 0.4316 0.1851
421-AH 0.2667 0.3333 0.3333 0.5167 0.6000 0.4035 0.1077 0.1833 0.3333 0.2668 0.3901 0.3774 0.0953 0.2667 0.6000 0.4035 0.1077
422-AH 0.0000 0.2000 0.3333 0.5333 0.7333 0.3649 0.2215 0.3333 0.7333 0.6070 0.1826 0.0002 0.1876 0.0000 0.7333 0.3649 0.2215
423-AH 0.2000 0.2000 0.2000 0.2000 0.3333 0.2070 0.0306 0.0000 0.1333 0.1478 0.2055 0.2043 0.0133 0.2000 0.2000 0.2000 0.0000
424-AH 0.2667 0.4167 0.6000 0.7333 0.8000 0.5684 0.1783 0.3167 0.5333 0.3137 0.5394 0.5090 0.1596 0.2667 0.8000 0.5684 0.1783
425-AH 0.1333 0.2000 0.2000 0.2500 0.3333 0.2070 0.0540 0.0500 0.2000 0.2606 0.2004 0.1939 0.0384 0.1333 0.2667 0.2000 0.0457
426-AH 0.0000 0.0000 0.0000 0.0000 0.1333 0.0175 0.0375 0.0000 0.1333 2.1354 0.0001 0.0000 0.0277 0.0000 0.0000 0.0000 0.0000
427-AH 0.0667 0.2000 0.2667 0.3333 0.4667 0.2491 0.0990 0.1333 0.4000 0.3973 0.2276 0.2024 0.0816 0.0667 0.4667 0.2491 0.0990
428-AH 0.0000 0.0167 0.4667 0.5333 0.6000 0.3404 0.2562 0.5167 0.6000 0.7527 0.0242 0.0000 0.2367 0.0000 0.6000 0.3404 0.2562
429-AH 0.0667 0.1333 0.1333 0.2000 0.3333 0.1544 0.0705 0.0667 0.2667 0.4564 0.1395 0.1252 0.0547 0.0667 0.2667 0.1444 0.0572
430-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1228 0.0868 0.1333 0.2667 0.7069 0.0188 0.0000 0.0753 0.0000 0.2667 0.1228 0.0868
431-AH 0.0000 0.4000 0.6000 0.7333 0.8000 0.5298 0.2606 0.3333 0.8000 0.4918 0.2668 0.0002 0.2146 0.0000 0.8000 0.5298 0.2606
432-AH 0.1333 0.2000 0.2000 0.2667 0.4000 0.2491 0.0732 0.0667 0.2667 0.2937 0.2397 0.2310 0.0587 0.1333 0.3333 0.2314 0.0533
433-AH 0.3333 0.7833 0.9333 1.0000 1.0000 0.8421 0.2436 0.2167 0.6667 0.2893 0.7922 0.7226 0.1906 0.6667 1.0000 0.9375 0.0988
434-AH 0.2000 0.6167 0.8000 0.8667 0.9333 0.7193 0.2206 0.2500 0.7333 0.3067 0.6721 0.6042 0.1721 0.3333 0.9333 0.7481 0.1865
435-AH 0.0667 0.1500 0.2667 0.3167 0.4667 0.2421 0.1201 0.1667 0.4000 0.4961 0.2083 0.1706 0.0960 0.0667 0.4667 0.2421 0.1201
436-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0035 0.0153 0.0000 0.0667 4.3589 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000
437-AH 0.4000 0.6000 0.7333 0.7833 0.8667 0.6772 0.1338 0.1833 0.4667 0.1976 0.6635 0.6485 0.1141 0.4000 0.8667 0.6772 0.1338
438-AH 0.0000 0.3333 0.4000 0.5000 0.6000 0.3509 0.1762 0.1667 0.6000 0.5021 0.1190 0.0001 0.1289 0.2000 0.6000 0.4125 0.1067
439-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0421 0.0330 0.0667 0.0667 0.7847 0.0026 0.0000 0.0310 0.0000 0.0667 0.0421 0.0330
440-AH 0.0667 0.1333 0.2667 0.5167 0.6000 0.3088 0.1927 0.3833 0.5333 0.6242 0.2442 0.1866 0.1751 0.0667 0.6000 0.3088 0.1927
441-AH 0.0667 0.7667 0.8667 0.9333 0.9333 0.7684 0.2689 0.1667 0.8667 0.3499 0.6709 0.4631 0.2009 0.6000 0.9333 0.8750 0.0907
442-AH 0.1333 0.5333 0.5333 0.5833 0.6000 0.5123 0.1090 0.0500 0.4667 0.2127 0.4927 0.4553 0.0683 0.4667 0.6000 0.5500 0.0385
443-AH 0.0000 0.1333 0.2667 0.5167 0.6667 0.3018 0.2017 0.3833 0.6667 0.6684 0.1505 0.0002 0.1703 0.0000 0.6667 0.3018 0.2017
444-AH 0.0000 0.2667 0.3333 0.4000 0.4667 0.2947 0.1263 0.1333 0.4667 0.4286 0.1638 0.0002 0.0938 0.2667 0.4667 0.3417 0.0638
445-AH 0.2667 0.2667 0.2667 0.2667 0.2667 0.2667 0.0000 0.0000 0.0000 0.0000 0.2667 0.2667 0.0000 0.2667 0.2667 0.2667 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0035 0.0153 0.0000 0.0667 4.3589 0.0000 0.0000 0.0066 0.0000 0.0000 0.0000 0.0000
447-AH 0.6667 0.8667 1.0000 1.0000 1.0000 0.9193 0.1079 0.1333 0.3333 0.1174 0.9127 0.9054 0.0879 0.7333 1.0000 0.9333 0.0915
448-AH 0.0667 0.2000 0.2000 0.2000 0.2667 0.1825 0.0537 0.0000 0.2000 0.2944 0.1707 0.1535 0.0366 0.2000 0.2000 0.2000 0.0000
449-AH 0.1333 0.6000 0.6667 0.7333 0.8667 0.6000 0.2155 0.1333 0.7333 0.3591 0.5413 0.4542 0.1544 0.6000 0.8667 0.6978 0.0904
450-AH 0.0000 0.0833 0.1333 0.2000 0.2667 0.1579 0.0808 0.1167 0.2667 0.5115 0.0900 0.0002 0.0680 0.0000 0.2667 0.1579 0.0808
105
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.2000 0.3000 0.5500 0.6500 0.3605 0.1823 0.3500 0.5500 0.5055 0.3138 0.2691 0.1637 0.1000 0.6500 0.3605 0.1823
402-AH 0.3500 0.5000 0.5500 0.6000 0.7000 0.5447 0.0880 0.1000 0.3500 0.1616 0.5375 0.5297 0.0693 0.3500 0.7000 0.5447 0.0880
403-AH 0.0000 0.0125 0.0500 0.1500 0.1500 0.0737 0.0609 0.1375 0.1500 0.8270 0.0081 0.0000 0.0537 0.0000 0.1500 0.0737 0.0609
404-AH 0.1000 0.1000 0.1000 0.1500 0.2000 0.1184 0.0299 0.0500 0.1000 0.2522 0.1154 0.1129 0.0252 0.1000 0.2000 0.1184 0.0299
405-AH 0.0000 0.0625 0.1500 0.1500 0.1500 0.1105 0.0488 0.0875 0.1500 0.4417 0.0659 0.0002 0.0416 0.0000 0.1500 0.1105 0.0488
406-AH 0.2000 0.4500 0.4500 0.6000 0.8000 0.4947 0.1571 0.1500 0.6000 0.3176 0.4696 0.4422 0.1202 0.3000 0.8000 0.5111 0.1441
407-AH 0.0500 0.1375 0.3000 0.3375 0.4000 0.2553 0.1224 0.2000 0.3500 0.4793 0.2101 0.1526 0.0986 0.0500 0.4000 0.2553 0.1224
408-AH 0.2500 0.4250 0.7500 0.9375 0.9500 0.6868 0.2624 0.5125 0.7000 0.3820 0.6269 0.5578 0.2271 0.2500 0.9500 0.6868 0.2624
409-AH 0.1000 0.1000 0.1000 0.1000 0.1500 0.1079 0.0187 0.0000 0.0500 0.1736 0.1066 0.1056 0.0133 0.1000 0.1000 0.1000 0.0000
410-AH 0.3500 0.5625 0.8000 0.8000 0.8500 0.7026 0.1783 0.2375 0.5000 0.2538 0.6757 0.6433 0.1488 0.3500 0.8500 0.7026 0.1783
411-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0026 0.0115 0.0000 0.0500 4.3589 0.0000 0.0000 0.0050 0.0000 0.0000 0.0000 0.0000
412-AH 0.1500 0.2000 0.3500 0.4375 0.5500 0.3289 0.1228 0.2375 0.4000 0.3734 0.3053 0.2811 0.1033 0.1500 0.5500 0.3289 0.1228
413-AH 0.3000 0.4625 0.5500 0.5875 0.6000 0.5105 0.0937 0.1250 0.3000 0.1835 0.5007 0.4890 0.0720 0.3000 0.6000 0.5105 0.0937
414-AH 0.0000 0.1000 0.1500 0.1500 0.1500 0.1263 0.0386 0.0500 0.1500 0.3057 0.0796 0.0002 0.0299 0.1000 0.1500 0.1333 0.0243
415-AH 0.2500 0.5000 0.5500 0.6000 0.7500 0.5526 0.1047 0.1000 0.5000 0.1895 0.5409 0.5256 0.0715 0.4500 0.7500 0.5694 0.0770
416-AH 0.2000 0.3000 0.3500 0.4000 0.4500 0.3421 0.0902 0.1000 0.2500 0.2635 0.3292 0.3150 0.0731 0.2000 0.4500 0.3421 0.0902
417-AH 0.0000 0.0000 0.0500 0.0875 0.3000 0.0684 0.0916 0.0875 0.3000 1.3389 0.0020 0.0000 0.0693 0.0000 0.2000 0.0441 0.0583
418-AH 0.4500 0.5000 0.5500 0.6000 0.6500 0.5447 0.0643 0.1000 0.2000 0.1181 0.5411 0.5375 0.0535 0.4500 0.6500 0.5447 0.0643
419-AH 0.0000 0.0500 0.1000 0.1000 0.1000 0.0816 0.0299 0.0500 0.1000 0.3661 0.0513 0.0002 0.0252 0.0000 0.1000 0.0816 0.0299
420-AH 0.1500 0.2500 0.4500 0.5000 0.6500 0.3868 0.1580 0.2500 0.5000 0.4084 0.3524 0.3165 0.1402 0.1500 0.6500 0.3868 0.1580
421-AH 0.2000 0.2625 0.3500 0.4500 0.4500 0.3579 0.0947 0.1875 0.2500 0.2645 0.3446 0.3303 0.0820 0.2000 0.4500 0.3579 0.0947
422-AH 0.0000 0.2125 0.3000 0.5500 0.7500 0.3579 0.2256 0.3375 0.7500 0.6304 0.1736 0.0002 0.1837 0.0000 0.7500 0.3579 0.2256
423-AH 0.1500 0.1500 0.1500 0.1875 0.2500 0.1658 0.0291 0.0375 0.1000 0.1756 0.1637 0.1619 0.0233 0.1500 0.2000 0.1611 0.0214
424-AH 0.2000 0.4125 0.5500 0.7000 0.7000 0.5395 0.1638 0.2875 0.5000 0.3036 0.5100 0.4738 0.1374 0.2000 0.7000 0.5395 0.1638
425-AH 0.1000 0.1500 0.1500 0.2500 0.3000 0.1947 0.0598 0.1000 0.2000 0.3073 0.1862 0.1781 0.0524 0.1000 0.3000 0.1947 0.0598
426-AH 0.0000 0.0000 0.0000 0.0375 0.1000 0.0158 0.0291 0.0375 0.1000 1.8442 0.0001 0.0000 0.0233 0.0000 0.0500 0.0111 0.0214
427-AH 0.0500 0.2000 0.2500 0.3000 0.4000 0.2421 0.0854 0.1000 0.3500 0.3528 0.2231 0.1948 0.0670 0.0500 0.4000 0.2421 0.0854
428-AH 0.0000 0.0500 0.3500 0.4000 0.5000 0.2737 0.1874 0.3500 0.5000 0.6846 0.0518 0.0001 0.1701 0.0000 0.5000 0.2737 0.1874
429-AH 0.0500 0.1000 0.1500 0.1875 0.3000 0.1474 0.0754 0.0875 0.2500 0.5117 0.1291 0.1113 0.0557 0.0500 0.3000 0.1474 0.0754
430-AH 0.0000 0.0500 0.1500 0.1500 0.2500 0.1184 0.0711 0.1000 0.2500 0.6006 0.0436 0.0001 0.0596 0.0000 0.2500 0.1184 0.0711
431-AH 0.0000 0.3250 0.5500 0.6500 0.7000 0.4763 0.2336 0.3250 0.7000 0.4903 0.2371 0.0002 0.1878 0.0000 0.7000 0.4763 0.2336
432-AH 0.1500 0.1625 0.2500 0.3000 0.3500 0.2368 0.0684 0.1375 0.2000 0.2888 0.2271 0.2174 0.0573 0.1500 0.3500 0.2368 0.0684
433-AH 0.2500 0.7500 0.9500 0.9500 1.0000 0.8132 0.2603 0.2000 0.7500 0.3201 0.7517 0.6640 0.2069 0.5500 1.0000 0.9125 0.1204
434-AH 0.2000 0.5750 0.8000 0.8875 0.9000 0.7000 0.2309 0.3125 0.7000 0.3299 0.6479 0.5767 0.1842 0.2000 0.9000 0.7000 0.2309
435-AH 0.0500 0.2000 0.3000 0.3875 0.4500 0.2763 0.1262 0.1875 0.4000 0.4569 0.2310 0.1667 0.1039 0.0500 0.4500 0.2763 0.1262
436-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0053 0.0158 0.0000 0.0500 2.9954 0.0000 0.0000 0.0094 0.0000 0.0000 0.0000 0.0000
437-AH 0.3500 0.5500 0.6000 0.7375 0.8000 0.6263 0.1206 0.1875 0.4500 0.1926 0.6142 0.6006 0.0961 0.3500 0.8000 0.6263 0.1206
438-AH 0.0000 0.2625 0.4000 0.4875 0.5500 0.3421 0.1652 0.2250 0.5500 0.4829 0.1186 0.0001 0.1266 0.0000 0.5500 0.3421 0.1652
439-AH 0.0000 0.0000 0.0500 0.0500 0.1000 0.0342 0.0291 0.0500 0.1000 0.8512 0.0022 0.0000 0.0252 0.0000 0.1000 0.0342 0.0291
440-AH 0.0500 0.1000 0.2000 0.4500 0.5500 0.2737 0.1844 0.3500 0.5000 0.6736 0.2094 0.1570 0.1695 0.0500 0.5500 0.2737 0.1844
441-AH 0.1000 0.6625 0.7500 0.7500 0.7500 0.6289 0.2181 0.0875 0.6500 0.3468 0.5609 0.4448 0.1648 0.6500 0.7500 0.7333 0.0309
442-AH 0.1000 0.4000 0.4000 0.4500 0.4500 0.4000 0.0764 0.0500 0.3500 0.1909 0.3859 0.3563 0.0316 0.4000 0.4500 0.4167 0.0243
443-AH 0.0500 0.1500 0.2500 0.5000 0.6000 0.2921 0.1873 0.3500 0.5500 0.6411 0.2245 0.1568 0.1593 0.0500 0.6000 0.2921 0.1873
444-AH 0.0000 0.2000 0.2500 0.3000 0.4000 0.2395 0.1062 0.1000 0.4000 0.4433 0.1332 0.0002 0.0776 0.0500 0.4000 0.2528 0.0915
445-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0079 0.0187 0.0000 0.0500 2.3727 0.0000 0.0000 0.0133 0.0000 0.0000 0.0000 0.0000
447-AH 0.5000 0.8500 0.9000 0.9500 0.9500 0.8447 0.1332 0.1000 0.4500 0.1577 0.8326 0.8181 0.0925 0.8000 0.9500 0.8969 0.0499
448-AH 0.0500 0.1500 0.1500 0.1875 0.2000 0.1474 0.0485 0.0375 0.1500 0.3292 0.1360 0.1200 0.0307 0.1500 0.2000 0.1656 0.0239
449-AH 0.1000 0.4750 0.6500 0.6500 0.7500 0.5447 0.2061 0.1750 0.6500 0.3783 0.4799 0.3801 0.1604 0.3500 0.7500 0.6219 0.1032
450-AH 0.0000 0.0625 0.1500 0.1500 0.2000 0.1211 0.0608 0.0875 0.2000 0.5024 0.0700 0.0002 0.0515 0.0000 0.2000 0.1211 0.0608
106
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.1417 0.3000 0.4333 0.5333 0.2982 0.1505 0.2917 0.4333 0.5046 0.2601 0.2243 0.1247 0.1000 0.5333 0.2982 0.1505
402-AH 0.2667 0.3750 0.4333 0.4667 0.5000 0.4105 0.0694 0.0917 0.2333 0.1691 0.4042 0.3972 0.0545 0.2667 0.5000 0.4105 0.0694
403-AH 0.0000 0.0333 0.0333 0.1000 0.1333 0.0544 0.0419 0.0667 0.1333 0.7702 0.0097 0.0000 0.0362 0.0000 0.1333 0.0544 0.0419
404-AH 0.0667 0.0667 0.1000 0.1000 0.1667 0.0912 0.0244 0.0333 0.1000 0.2680 0.0885 0.0860 0.0181 0.0667 0.1000 0.0870 0.0167
405-AH 0.0000 0.0417 0.1000 0.1000 0.1333 0.0754 0.0349 0.0583 0.1333 0.4621 0.0456 0.0002 0.0294 0.0000 0.1333 0.0754 0.0349
406-AH 0.2000 0.3000 0.4333 0.5417 0.6667 0.4281 0.1433 0.2417 0.4667 0.3347 0.4052 0.3828 0.1143 0.2000 0.6667 0.4281 0.1433
407-AH 0.0333 0.1417 0.2000 0.2583 0.2667 0.1877 0.0755 0.1167 0.2333 0.4024 0.1659 0.1346 0.0611 0.0333 0.2667 0.1877 0.0755
408-AH 0.1667 0.3667 0.7333 0.7917 0.8333 0.5825 0.2313 0.4250 0.6667 0.3971 0.5268 0.4603 0.2079 0.1667 0.8333 0.5825 0.2313
409-AH 0.0667 0.0667 0.0667 0.1000 0.1000 0.0789 0.0165 0.0333 0.0333 0.2093 0.0774 0.0760 0.0155 0.0667 0.1000 0.0789 0.0165
410-AH 0.2333 0.4417 0.6000 0.6667 0.6667 0.5509 0.1480 0.2250 0.4333 0.2686 0.5263 0.4955 0.1215 0.2333 0.6667 0.5509 0.1480
411-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0070 0.0140 0.0000 0.0333 1.9896 0.0001 0.0000 0.0111 0.0000 0.0000 0.0000 0.0000
412-AH 0.1000 0.1750 0.3000 0.3333 0.4000 0.2649 0.0978 0.1583 0.3000 0.3692 0.2447 0.2223 0.0829 0.1000 0.4000 0.2649 0.0978
413-AH 0.2333 0.4000 0.5000 0.5000 0.5667 0.4439 0.1043 0.1000 0.3333 0.2349 0.4296 0.4123 0.0825 0.2667 0.5667 0.4686 0.0777
414-AH 0.0000 0.0667 0.1000 0.1000 0.1000 0.0842 0.0257 0.0333 0.1000 0.3057 0.0542 0.0002 0.0199 0.0667 0.1000 0.0889 0.0162
415-AH 0.3000 0.5000 0.5667 0.5667 0.6333 0.5263 0.0886 0.0667 0.3333 0.1683 0.5179 0.5079 0.0657 0.4000 0.6333 0.5490 0.0591
416-AH 0.1333 0.2417 0.3000 0.3333 0.3667 0.2930 0.0604 0.0917 0.2333 0.2063 0.2858 0.2767 0.0475 0.1333 0.3667 0.2930 0.0604
417-AH 0.0000 0.0000 0.0333 0.0667 0.2333 0.0561 0.0712 0.0667 0.2333 1.2681 0.0018 0.0000 0.0545 0.0000 0.1333 0.0373 0.0455
418-AH 0.3333 0.4333 0.4667 0.4667 0.5333 0.4526 0.0548 0.0333 0.2000 0.1210 0.4493 0.4458 0.0408 0.4333 0.5000 0.4564 0.0210
419-AH 0.0000 0.0333 0.0667 0.0667 0.0667 0.0544 0.0199 0.0333 0.0667 0.3661 0.0349 0.0002 0.0168 0.0000 0.0667 0.0544 0.0199
420-AH 0.1667 0.1750 0.3667 0.4333 0.4667 0.3140 0.1264 0.2583 0.3000 0.4024 0.2881 0.2632 0.1186 0.1667 0.4667 0.3140 0.1264
421-AH 0.1667 0.2417 0.3000 0.3000 0.3000 0.2667 0.0521 0.0583 0.1333 0.1954 0.2609 0.2541 0.0421 0.1667 0.3000 0.2667 0.0521
422-AH 0.0333 0.1500 0.3333 0.5500 0.6667 0.3333 0.2096 0.4000 0.6333 0.6289 0.2513 0.1633 0.1719 0.0333 0.6667 0.3333 0.2096
423-AH 0.1000 0.1000 0.1333 0.1333 0.1667 0.1228 0.0224 0.0333 0.0667 0.1821 0.1209 0.1191 0.0192 0.1000 0.1667 0.1228 0.0224
424-AH 0.1333 0.3333 0.4333 0.5250 0.5667 0.4088 0.1300 0.1917 0.4333 0.3180 0.3831 0.3497 0.1101 0.1333 0.5667 0.4088 0.1300
425-AH 0.1000 0.1000 0.1667 0.2000 0.2333 0.1544 0.0512 0.1000 0.1333 0.3315 0.1464 0.1388 0.0445 0.1000 0.2333 0.1544 0.0512
426-AH 0.0000 0.0000 0.0333 0.0333 0.1000 0.0246 0.0291 0.0333 0.1000 1.1833 0.0008 0.0000 0.0233 0.0000 0.0667 0.0204 0.0233
427-AH 0.0333 0.1667 0.2000 0.2667 0.4000 0.2140 0.0912 0.1000 0.3667 0.4259 0.1906 0.1563 0.0744 0.0333 0.4000 0.2140 0.0912
428-AH 0.0000 0.0667 0.2667 0.2917 0.4000 0.1930 0.1284 0.2250 0.4000 0.6654 0.0405 0.0001 0.1141 0.0000 0.4000 0.1930 0.1284
429-AH 0.0333 0.0667 0.1333 0.1667 0.3333 0.1351 0.0797 0.1000 0.3000 0.5901 0.1130 0.0921 0.0619 0.0333 0.2333 0.1241 0.0655
430-AH 0.0000 0.0750 0.1000 0.1333 0.2000 0.1070 0.0540 0.0583 0.2000 0.5042 0.0615 0.0002 0.0425 0.0000 0.2000 0.1070 0.0540
431-AH 0.0000 0.2667 0.4667 0.5333 0.6000 0.3930 0.1851 0.2667 0.6000 0.4711 0.2121 0.0002 0.1562 0.0000 0.6000 0.3930 0.1851
432-AH 0.1333 0.2000 0.2667 0.3000 0.3333 0.2509 0.0632 0.1000 0.2000 0.2520 0.2429 0.2345 0.0552 0.1333 0.3333 0.2509 0.0632
433-AH 0.2000 0.7083 0.9000 0.9333 0.9667 0.7807 0.2578 0.2250 0.7667 0.3302 0.7182 0.6286 0.2074 0.4000 0.9667 0.8729 0.1467
434-AH 0.2000 0.4750 0.7000 0.7333 0.7667 0.5895 0.1972 0.2583 0.5667 0.3346 0.5470 0.4934 0.1642 0.2000 0.7667 0.5895 0.1972
435-AH 0.0333 0.2333 0.3000 0.3667 0.4333 0.2825 0.1254 0.1333 0.4000 0.4440 0.2366 0.1672 0.0994 0.0333 0.4333 0.2825 0.1254
436-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0035 0.0105 0.0000 0.0333 2.9954 0.0000 0.0000 0.0063 0.0000 0.0000 0.0000 0.0000
437-AH 0.3000 0.5083 0.5667 0.6333 0.7000 0.5561 0.1006 0.1250 0.4000 0.1810 0.5462 0.5346 0.0777 0.4333 0.7000 0.5704 0.0816
438-AH 0.0000 0.2333 0.3000 0.4250 0.5000 0.2912 0.1457 0.1917 0.5000 0.5001 0.1029 0.0001 0.1084 0.0000 0.5000 0.2912 0.1457
439-AH 0.0000 0.0333 0.0333 0.0333 0.1000 0.0298 0.0219 0.0000 0.1000 0.7352 0.0064 0.0000 0.0126 0.0333 0.0333 0.0333 0.0000
440-AH 0.0667 0.0667 0.2000 0.3917 0.4333 0.2228 0.1516 0.3250 0.3667 0.6802 0.1698 0.1283 0.1363 0.0667 0.4333 0.2228 0.1516
441-AH 0.0667 0.4667 0.5000 0.5000 0.5000 0.4281 0.1321 0.0333 0.4333 0.3085 0.3918 0.3226 0.0995 0.4667 0.5000 0.4911 0.0153
442-AH 0.0667 0.2667 0.3000 0.3000 0.3000 0.2737 0.0528 0.0333 0.2333 0.1929 0.2638 0.2426 0.0277 0.2667 0.3000 0.2852 0.0170
443-AH 0.0333 0.1083 0.2333 0.3833 0.5333 0.2456 0.1660 0.2750 0.5000 0.6759 0.1849 0.1253 0.1370 0.0333 0.5333 0.2456 0.1660
444-AH 0.0667 0.1667 0.2000 0.2333 0.3000 0.2035 0.0684 0.0667 0.2333 0.3361 0.1899 0.1732 0.0528 0.1000 0.3000 0.2111 0.0616
445-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
446-AH 0.0000 0.0000 0.0000 0.0250 0.0333 0.0088 0.0151 0.0250 0.0333 1.7192 0.0001 0.0000 0.0129 0.0000 0.0333 0.0088 0.0151
447-AH 0.3333 0.7667 0.7667 0.7667 0.7667 0.7070 0.1270 0.0000 0.4333 0.1796 0.6925 0.6730 0.0942 0.7667 0.7667 0.7667 0.0000
448-AH 0.0667 0.1083 0.1333 0.1333 0.1333 0.1193 0.0256 0.0250 0.0667 0.2147 0.1159 0.1118 0.0207 0.1000 0.1333 0.1292 0.0114
449-AH 0.0667 0.3333 0.5000 0.5000 0.6000 0.4263 0.1438 0.1667 0.5333 0.3374 0.3872 0.3180 0.1121 0.2000 0.6000 0.4463 0.1178
450-AH 0.0333 0.0667 0.1000 0.1333 0.2000 0.1018 0.0464 0.0667 0.1667 0.4565 0.0901 0.0772 0.0371 0.0333 0.2000 0.1018 0.0464
107
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0600 0.0900 0.1500 0.1700 0.2000 0.1332 0.0504 0.0800 0.1400 0.3789 0.1227 0.1116 0.0440 0.0600 0.2000 0.1332 0.0504
402-AH 0.1200 0.1325 0.1400 0.1575 0.1800 0.1458 0.0189 0.0250 0.0600 0.1300 0.1446 0.1435 0.0151 0.1200 0.1800 0.1458 0.0189
403-AH 0.0000 0.0200 0.0400 0.0400 0.0600 0.0342 0.0168 0.0200 0.0600 0.4902 0.0214 0.0002 0.0135 0.0000 0.0600 0.0342 0.0168
404-AH 0.0400 0.0400 0.0400 0.0600 0.0800 0.0526 0.0148 0.0200 0.0400 0.2821 0.0508 0.0491 0.0133 0.0400 0.0800 0.0526 0.0148
405-AH 0.0100 0.0200 0.0400 0.0400 0.0400 0.0305 0.0118 0.0200 0.0300 0.3857 0.0275 0.0237 0.0100 0.0100 0.0400 0.0305 0.0118
406-AH 0.1100 0.1575 0.2300 0.2750 0.2900 0.2195 0.0608 0.1175 0.1800 0.2769 0.2098 0.1986 0.0491 0.1100 0.2900 0.2195 0.0608
407-AH 0.0200 0.0600 0.0800 0.0800 0.0800 0.0674 0.0179 0.0200 0.0600 0.2657 0.0641 0.0592 0.0141 0.0400 0.0800 0.0700 0.0141
408-AH 0.0600 0.1600 0.2300 0.3100 0.3100 0.2263 0.0863 0.1500 0.2500 0.3813 0.2045 0.1749 0.0734 0.0600 0.3100 0.2263 0.0863
409-AH 0.0200 0.0300 0.0400 0.0400 0.0400 0.0358 0.0069 0.0100 0.0200 0.1935 0.0350 0.0340 0.0058 0.0200 0.0400 0.0358 0.0069
410-AH 0.0900 0.2025 0.2100 0.2100 0.2200 0.1979 0.0322 0.0075 0.1300 0.1629 0.1944 0.1894 0.0223 0.2000 0.2200 0.2120 0.0056
411-AH 0.0000 0.0000 0.0100 0.0100 0.0100 0.0068 0.0048 0.0100 0.0100 0.6980 0.0011 0.0000 0.0043 0.0000 0.0100 0.0068 0.0048
412-AH 0.0400 0.0950 0.1300 0.1700 0.1900 0.1295 0.0466 0.0750 0.1500 0.3599 0.1195 0.1073 0.0384 0.0400 0.1900 0.1295 0.0466
413-AH 0.0800 0.1750 0.2200 0.2300 0.2400 0.2005 0.0456 0.0550 0.1600 0.2276 0.1939 0.1850 0.0361 0.1300 0.2400 0.2072 0.0361
414-AH 0.0200 0.0300 0.0300 0.0300 0.0400 0.0311 0.0046 0.0000 0.0200 0.1478 0.0307 0.0304 0.0028 0.0300 0.0300 0.0300 0.0000
415-AH 0.1300 0.3125 0.4000 0.4300 0.4600 0.3632 0.0901 0.1175 0.3300 0.2480 0.3491 0.3298 0.0753 0.2200 0.4600 0.3761 0.0722
416-AH 0.0400 0.1000 0.1100 0.1100 0.1100 0.1026 0.0159 0.0100 0.0700 0.1552 0.1007 0.0974 0.0085 0.1000 0.1100 0.1061 0.0050
417-AH 0.0000 0.0100 0.0300 0.0600 0.0900 0.0379 0.0292 0.0500 0.0900 0.7698 0.0140 0.0001 0.0241 0.0000 0.0900 0.0379 0.0292
418-AH 0.1200 0.1900 0.1900 0.1900 0.1900 0.1842 0.0164 0.0000 0.0700 0.0892 0.1833 0.1822 0.0091 0.1900 0.1900 0.1900 0.0000
419-AH 0.0100 0.0100 0.0200 0.0200 0.0200 0.0168 0.0048 0.0100 0.0100 0.2836 0.0161 0.0152 0.0043 0.0100 0.0200 0.0168 0.0048
420-AH 0.0700 0.1025 0.1300 0.1700 0.2000 0.1337 0.0440 0.0675 0.1300 0.3291 0.1262 0.1184 0.0376 0.0700 0.2000 0.1337 0.0440
421-AH 0.0600 0.0825 0.0900 0.0900 0.0900 0.0858 0.0084 0.0075 0.0300 0.0976 0.0853 0.0848 0.0062 0.0800 0.0900 0.0882 0.0039
422-AH 0.0200 0.1100 0.2500 0.3025 0.4300 0.2200 0.1256 0.1925 0.4100 0.5710 0.1719 0.1133 0.1053 0.0200 0.4300 0.2200 0.1256
423-AH 0.0300 0.0400 0.0500 0.0500 0.0500 0.0447 0.0070 0.0100 0.0200 0.1557 0.0442 0.0435 0.0061 0.0300 0.0500 0.0447 0.0070
424-AH 0.0400 0.1325 0.1500 0.1700 0.1800 0.1437 0.0386 0.0375 0.1400 0.2688 0.1360 0.1237 0.0269 0.1100 0.1800 0.1547 0.0210
425-AH 0.0300 0.0425 0.0700 0.0875 0.1100 0.0684 0.0259 0.0450 0.0800 0.3782 0.0633 0.0580 0.0218 0.0300 0.1100 0.0684 0.0259
426-AH 0.0000 0.0125 0.0400 0.0400 0.0500 0.0284 0.0164 0.0275 0.0500 0.5777 0.0087 0.0001 0.0137 0.0000 0.0500 0.0284 0.0164
427-AH 0.0500 0.1100 0.1300 0.1300 0.1400 0.1195 0.0222 0.0200 0.0900 0.1861 0.1167 0.1128 0.0155 0.1100 0.1400 0.1259 0.0106
428-AH 0.0100 0.0425 0.0800 0.0975 0.1300 0.0726 0.0377 0.0550 0.1200 0.5189 0.0573 0.0369 0.0306 0.0100 0.1300 0.0726 0.0377
429-AH 0.0200 0.0325 0.0500 0.0600 0.1200 0.0595 0.0332 0.0275 0.1000 0.5590 0.0519 0.0457 0.0247 0.0200 0.0600 0.0440 0.0140
430-AH 0.0100 0.0350 0.0500 0.0750 0.0900 0.0547 0.0232 0.0400 0.0800 0.4235 0.0490 0.0412 0.0181 0.0100 0.0900 0.0547 0.0232
431-AH 0.0300 0.1525 0.2600 0.2875 0.3200 0.2105 0.0990 0.1350 0.2900 0.4701 0.1746 0.1263 0.0847 0.0300 0.3200 0.2105 0.0990
432-AH 0.0500 0.1000 0.1200 0.1200 0.1200 0.1047 0.0222 0.0200 0.0700 0.2120 0.1017 0.0976 0.0166 0.0900 0.1200 0.1112 0.0117
433-AH 0.1400 0.3025 0.3800 0.4150 0.4200 0.3437 0.0909 0.1125 0.2800 0.2646 0.3286 0.3093 0.0729 0.1400 0.4200 0.3437 0.0909
434-AH 0.0900 0.1950 0.2400 0.2400 0.2400 0.2074 0.0589 0.0450 0.1500 0.2839 0.1963 0.1819 0.0481 0.1800 0.2400 0.2360 0.0155
435-AH 0.0300 0.1175 0.1500 0.2200 0.2600 0.1516 0.0739 0.1025 0.2300 0.4874 0.1270 0.0968 0.0566 0.0300 0.2600 0.1516 0.0739
436-AH 0.0000 0.0000 0.0000 0.0000 0.0400 0.0032 0.0095 0.0000 0.0400 2.9954 0.0000 0.0000 0.0053 0.0000 0.0000 0.0000 0.0000
437-AH 0.1100 0.2175 0.2500 0.2500 0.2600 0.2347 0.0356 0.0325 0.1500 0.1519 0.2311 0.2260 0.0246 0.2000 0.2600 0.2417 0.0195
438-AH 0.0300 0.0850 0.1400 0.2450 0.2700 0.1516 0.0837 0.1600 0.2400 0.5525 0.1240 0.0937 0.0711 0.0300 0.2700 0.1516 0.0837
439-AH 0.0000 0.0100 0.0200 0.0300 0.0500 0.0195 0.0151 0.0200 0.0500 0.7745 0.0043 0.0000 0.0122 0.0000 0.0500 0.0195 0.0151
440-AH 0.0300 0.0700 0.1200 0.1300 0.1300 0.0989 0.0357 0.0600 0.1000 0.3611 0.0905 0.0795 0.0307 0.0300 0.1300 0.0989 0.0357
441-AH 0.0600 0.1400 0.1500 0.1500 0.1500 0.1363 0.0254 0.0100 0.0900 0.1866 0.1332 0.1289 0.0184 0.1400 0.1500 0.1480 0.0041
442-AH 0.0400 0.0900 0.0900 0.0900 0.0900 0.0858 0.0117 0.0000 0.0500 0.1364 0.0847 0.0829 0.0066 0.0900 0.0900 0.0900 0.0000
443-AH 0.0300 0.0525 0.1100 0.1550 0.2700 0.1221 0.0846 0.1025 0.2400 0.6931 0.0963 0.0757 0.0679 0.0300 0.2700 0.1221 0.0846
444-AH 0.0500 0.0925 0.1100 0.1275 0.1500 0.1042 0.0304 0.0350 0.1000 0.2920 0.0992 0.0933 0.0231 0.0500 0.1500 0.1042 0.0304
445-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
446-AH 0.0000 0.0000 0.0000 0.0100 0.0500 0.0063 0.0126 0.0100 0.0500 1.9896 0.0001 0.0000 0.0086 0.0000 0.0200 0.0039 0.0070
447-AH 0.1200 0.2300 0.2300 0.2300 0.2300 0.2163 0.0304 0.0000 0.1100 0.1406 0.2137 0.2104 0.0216 0.2300 0.2300 0.2300 0.0000
448-AH 0.0300 0.0400 0.0400 0.0400 0.0400 0.0395 0.0023 0.0000 0.0100 0.0581 0.0394 0.0393 0.0010 0.0400 0.0400 0.0400 0.0000
449-AH 0.0600 0.1700 0.2300 0.2375 0.2500 0.1947 0.0619 0.0675 0.1900 0.3176 0.1812 0.1629 0.0499 0.0900 0.2500 0.2022 0.0541
450-AH 0.0100 0.0400 0.0500 0.0600 0.1000 0.0521 0.0212 0.0200 0.0900 0.4075 0.0472 0.0405 0.0153 0.0100 0.0700 0.0471 0.0157
108
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0350 0.0625 0.0950 0.1037 0.1250 0.0858 0.0283 0.0412 0.0900 0.3304 0.0804 0.0741 0.0232 0.0350 0.1250 0.0858 0.0283
402-AH 0.0700 0.0750 0.0850 0.0938 0.1000 0.0837 0.0116 0.0187 0.0300 0.1392 0.0829 0.0822 0.0103 0.0700 0.1000 0.0837 0.0116
403-AH 0.0050 0.0150 0.0300 0.0400 0.0450 0.0279 0.0143 0.0250 0.0400 0.5116 0.0235 0.0185 0.0127 0.0050 0.0450 0.0279 0.0143
404-AH 0.0200 0.0225 0.0350 0.0438 0.0450 0.0329 0.0096 0.0213 0.0250 0.2924 0.0315 0.0300 0.0080 0.0200 0.0450 0.0329 0.0096
405-AH 0.0100 0.0150 0.0200 0.0200 0.0200 0.0171 0.0042 0.0050 0.0100 0.2449 0.0165 0.0158 0.0037 0.0100 0.0200 0.0171 0.0042
406-AH 0.0650 0.1150 0.1300 0.1450 0.1450 0.1226 0.0244 0.0300 0.0800 0.1990 0.1199 0.1167 0.0193 0.0850 0.1450 0.1258 0.0206
407-AH 0.0250 0.0350 0.0400 0.0400 0.0400 0.0363 0.0055 0.0050 0.0150 0.1511 0.0359 0.0353 0.0043 0.0350 0.0400 0.0384 0.0024
408-AH 0.0300 0.0962 0.1400 0.1550 0.1550 0.1213 0.0404 0.0588 0.1250 0.3328 0.1114 0.0963 0.0327 0.0300 0.1550 0.1213 0.0404
409-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0187 0.0033 0.0000 0.0100 0.1748 0.0183 0.0178 0.0022 0.0200 0.0200 0.0200 0.0000
410-AH 0.0950 0.1062 0.1100 0.1100 0.1100 0.1071 0.0056 0.0038 0.0150 0.0523 0.1070 0.1068 0.0043 0.1050 0.1100 0.1094 0.0017
411-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0045 0.0016 0.0000 0.0050 0.3524 0.0026 0.0001 0.0009 0.0050 0.0050 0.0050 0.0000
412-AH 0.0250 0.0650 0.0850 0.1187 0.1250 0.0884 0.0310 0.0538 0.1000 0.3511 0.0820 0.0740 0.0273 0.0250 0.1250 0.0884 0.0310
413-AH 0.0900 0.1150 0.1200 0.1200 0.1200 0.1147 0.0096 0.0050 0.0300 0.0840 0.1143 0.1138 0.0067 0.1100 0.1200 0.1184 0.0030
414-AH 0.0100 0.0150 0.0150 0.0200 0.0200 0.0166 0.0029 0.0050 0.0100 0.1756 0.0163 0.0161 0.0025 0.0100 0.0200 0.0166 0.0029
415-AH 0.1400 0.2112 0.2650 0.2937 0.3050 0.2521 0.0465 0.0825 0.1650 0.1844 0.2475 0.2422 0.0386 0.1400 0.3050 0.2521 0.0465
416-AH 0.0500 0.0513 0.0550 0.0550 0.0550 0.0537 0.0023 0.0037 0.0050 0.0421 0.0536 0.0536 0.0019 0.0500 0.0550 0.0537 0.0023
417-AH 0.0000 0.0162 0.0300 0.0400 0.0500 0.0274 0.0157 0.0237 0.0500 0.5725 0.0117 0.0001 0.0128 0.0000 0.0500 0.0274 0.0157
418-AH 0.0850 0.0950 0.0950 0.0950 0.0950 0.0939 0.0027 0.0000 0.0100 0.0285 0.0939 0.0939 0.0018 0.0950 0.0950 0.0950 0.0000
419-AH 0.0050 0.0100 0.0100 0.0100 0.0100 0.0092 0.0019 0.0000 0.0050 0.2034 0.0090 0.0086 0.0013 0.0100 0.0100 0.0100 0.0000
420-AH 0.0450 0.0650 0.0800 0.0950 0.1050 0.0787 0.0196 0.0300 0.0600 0.2496 0.0761 0.0733 0.0161 0.0450 0.1050 0.0787 0.0196
421-AH 0.0400 0.0450 0.0450 0.0450 0.0450 0.0447 0.0011 0.0000 0.0050 0.0256 0.0447 0.0447 0.0005 0.0450 0.0450 0.0450 0.0000
422-AH 0.0250 0.0837 0.1650 0.2025 0.2350 0.1474 0.0663 0.1187 0.2100 0.4500 0.1274 0.1014 0.0544 0.0250 0.2350 0.1474 0.0663
423-AH 0.0150 0.0200 0.0250 0.0250 0.0250 0.0226 0.0035 0.0050 0.0100 0.1539 0.0223 0.0220 0.0030 0.0150 0.0250 0.0226 0.0035
424-AH 0.0200 0.0750 0.0850 0.0888 0.0900 0.0787 0.0158 0.0137 0.0700 0.2008 0.0758 0.0700 0.0096 0.0700 0.0900 0.0819 0.0071
425-AH 0.0150 0.0300 0.0400 0.0537 0.0700 0.0413 0.0158 0.0238 0.0550 0.3824 0.0380 0.0344 0.0130 0.0150 0.0700 0.0413 0.0158
426-AH 0.0000 0.0162 0.0250 0.0300 0.0400 0.0229 0.0107 0.0137 0.0400 0.4679 0.0143 0.0002 0.0084 0.0000 0.0400 0.0229 0.0107
427-AH 0.0550 0.0650 0.0700 0.0700 0.0700 0.0666 0.0058 0.0050 0.0150 0.0869 0.0663 0.0660 0.0047 0.0600 0.0700 0.0687 0.0029
428-AH 0.0050 0.0237 0.0450 0.0587 0.0700 0.0424 0.0221 0.0350 0.0650 0.5224 0.0326 0.0195 0.0178 0.0050 0.0700 0.0424 0.0221
429-AH 0.0200 0.0300 0.0350 0.0400 0.0600 0.0382 0.0126 0.0100 0.0400 0.3304 0.0364 0.0348 0.0098 0.0200 0.0400 0.0323 0.0056
430-AH 0.0050 0.0212 0.0300 0.0425 0.0450 0.0295 0.0122 0.0213 0.0400 0.4151 0.0263 0.0218 0.0100 0.0050 0.0450 0.0295 0.0122
431-AH 0.0450 0.0987 0.1600 0.1650 0.1650 0.1282 0.0455 0.0663 0.1200 0.3550 0.1174 0.1035 0.0390 0.0450 0.1650 0.1282 0.0455
432-AH 0.0400 0.0500 0.0600 0.0600 0.0600 0.0558 0.0061 0.0100 0.0200 0.1088 0.0554 0.0551 0.0053 0.0400 0.0600 0.0558 0.0061
433-AH 0.1300 0.1950 0.2100 0.2150 0.2150 0.1953 0.0300 0.0200 0.0850 0.1538 0.1927 0.1896 0.0228 0.1650 0.2150 0.2069 0.0130
434-AH 0.0500 0.1200 0.1200 0.1200 0.1200 0.1087 0.0255 0.0000 0.0700 0.2345 0.1046 0.0988 0.0180 0.1200 0.1200 0.1200 0.0000
435-AH 0.0300 0.0713 0.0850 0.1262 0.1450 0.0903 0.0378 0.0550 0.1150 0.4192 0.0810 0.0701 0.0303 0.0300 0.1450 0.0903 0.0378
436-AH 0.0000 0.0000 0.0000 0.0037 0.0200 0.0021 0.0048 0.0037 0.0200 2.2829 0.0001 0.0000 0.0031 0.0000 0.0050 0.0011 0.0021
437-AH 0.1150 0.1250 0.1300 0.1300 0.1300 0.1263 0.0057 0.0050 0.0150 0.0454 0.1262 0.1261 0.0047 0.1200 0.1300 0.1284 0.0030
438-AH 0.0150 0.0550 0.0950 0.1450 0.1650 0.0971 0.0503 0.0900 0.1500 0.5184 0.0794 0.0570 0.0422 0.0150 0.1650 0.0971 0.0503
439-AH 0.0000 0.0050 0.0100 0.0238 0.0300 0.0137 0.0098 0.0188 0.0300 0.7189 0.0078 0.0002 0.0086 0.0000 0.0300 0.0137 0.0098
440-AH 0.0250 0.0562 0.0650 0.0650 0.0650 0.0582 0.0127 0.0087 0.0400 0.2186 0.0562 0.0534 0.0090 0.0500 0.0650 0.0621 0.0053
441-AH 0.0400 0.0713 0.0750 0.0750 0.0750 0.0705 0.0097 0.0038 0.0350 0.1376 0.0697 0.0687 0.0066 0.0700 0.0750 0.0744 0.0017
442-AH 0.0250 0.0450 0.0450 0.0450 0.0450 0.0434 0.0047 0.0000 0.0200 0.1089 0.0431 0.0426 0.0027 0.0450 0.0450 0.0450 0.0000
443-AH 0.0250 0.0400 0.0650 0.0925 0.1350 0.0726 0.0386 0.0525 0.1100 0.5319 0.0634 0.0555 0.0325 0.0250 0.1350 0.0726 0.0386
444-AH 0.0450 0.0600 0.0700 0.0787 0.0800 0.0674 0.0110 0.0188 0.0350 0.1629 0.0665 0.0655 0.0096 0.0450 0.0800 0.0674 0.0110
445-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
446-AH 0.0000 0.0000 0.0000 0.0050 0.0300 0.0047 0.0081 0.0050 0.0300 1.7047 0.0002 0.0000 0.0055 0.0000 0.0100 0.0024 0.0036
447-AH 0.1000 0.1150 0.1150 0.1150 0.1150 0.1134 0.0047 0.0000 0.0150 0.0417 0.1133 0.1132 0.0028 0.1150 0.1150 0.1150 0.0000
448-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
449-AH 0.0400 0.1113 0.1250 0.1287 0.1350 0.1105 0.0296 0.0175 0.0950 0.2676 0.1051 0.0977 0.0224 0.1100 0.1350 0.1247 0.0069
450-AH 0.0100 0.0312 0.0400 0.0500 0.0750 0.0413 0.0143 0.0188 0.0650 0.3466 0.0385 0.0345 0.0109 0.0100 0.0750 0.0413 0.0143
109
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0160 0.0400 0.0460 0.0500 0.0540 0.0422 0.0115 0.0100 0.0380 0.2726 0.0401 0.0373 0.0086 0.0360 0.0540 0.0466 0.0051
402-AH 0.0280 0.0340 0.0360 0.0400 0.0420 0.0371 0.0041 0.0060 0.0140 0.1100 0.0368 0.0366 0.0034 0.0280 0.0420 0.0371 0.0041
403-AH 0.0120 0.0140 0.0180 0.0215 0.0240 0.0180 0.0037 0.0075 0.0120 0.2062 0.0176 0.0172 0.0032 0.0120 0.0240 0.0180 0.0037
404-AH 0.0120 0.0180 0.0180 0.0180 0.0180 0.0172 0.0019 0.0000 0.0060 0.1120 0.0170 0.0169 0.0013 0.0180 0.0180 0.0180 0.0000
405-AH 0.0040 0.0060 0.0080 0.0080 0.0080 0.0069 0.0015 0.0020 0.0040 0.2223 0.0067 0.0065 0.0013 0.0040 0.0080 0.0069 0.0015
406-AH 0.0400 0.0480 0.0560 0.0580 0.0580 0.0528 0.0057 0.0100 0.0180 0.1088 0.0525 0.0522 0.0051 0.0400 0.0580 0.0528 0.0057
407-AH 0.0120 0.0140 0.0160 0.0160 0.0160 0.0151 0.0014 0.0020 0.0040 0.0926 0.0150 0.0149 0.0012 0.0120 0.0160 0.0151 0.0014
408-AH 0.0120 0.0430 0.0560 0.0620 0.0620 0.0504 0.0146 0.0190 0.0500 0.2902 0.0472 0.0419 0.0113 0.0200 0.0620 0.0526 0.0116
409-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0078 0.0006 0.0000 0.0020 0.0810 0.0078 0.0077 0.0004 0.0080 0.0080 0.0080 0.0000
410-AH 0.0380 0.0440 0.0440 0.0440 0.0440 0.0433 0.0019 0.0000 0.0060 0.0442 0.0432 0.0432 0.0012 0.0440 0.0440 0.0440 0.0000
411-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
412-AH 0.0220 0.0365 0.0540 0.0640 0.0660 0.0483 0.0158 0.0275 0.0440 0.3275 0.0454 0.0422 0.0140 0.0220 0.0660 0.0483 0.0158
413-AH 0.0380 0.0460 0.0480 0.0480 0.0480 0.0462 0.0033 0.0020 0.0100 0.0705 0.0461 0.0460 0.0023 0.0460 0.0480 0.0475 0.0009
414-AH 0.0040 0.0060 0.0060 0.0080 0.0080 0.0067 0.0012 0.0020 0.0040 0.1773 0.0066 0.0065 0.0011 0.0040 0.0080 0.0067 0.0012
415-AH 0.0700 0.1045 0.1220 0.1320 0.1320 0.1174 0.0164 0.0275 0.0620 0.1395 0.1161 0.1146 0.0128 0.0700 0.1320 0.1174 0.0164
416-AH 0.0200 0.0220 0.0220 0.0220 0.0220 0.0219 0.0005 0.0000 0.0020 0.0210 0.0219 0.0219 0.0002 0.0220 0.0220 0.0220 0.0000
417-AH 0.0040 0.0165 0.0200 0.0220 0.0220 0.0176 0.0064 0.0055 0.0180 0.3669 0.0155 0.0122 0.0048 0.0140 0.0220 0.0201 0.0025
418-AH 0.0340 0.0380 0.0380 0.0380 0.0380 0.0378 0.0009 0.0000 0.0040 0.0243 0.0378 0.0378 0.0004 0.0380 0.0380 0.0380 0.0000
419-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
420-AH 0.0240 0.0340 0.0360 0.0415 0.0420 0.0362 0.0053 0.0075 0.0180 0.1460 0.0358 0.0354 0.0042 0.0240 0.0420 0.0362 0.0053
421-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000
422-AH 0.0200 0.0675 0.0860 0.0990 0.1040 0.0791 0.0251 0.0315 0.0840 0.3181 0.0734 0.0650 0.0192 0.0360 0.1040 0.0823 0.0213
423-AH 0.0080 0.0085 0.0100 0.0100 0.0100 0.0095 0.0009 0.0015 0.0020 0.0955 0.0094 0.0094 0.0008 0.0080 0.0100 0.0095 0.0009
424-AH 0.0080 0.0320 0.0340 0.0360 0.0360 0.0325 0.0063 0.0040 0.0280 0.1943 0.0313 0.0289 0.0035 0.0300 0.0360 0.0339 0.0022
425-AH 0.0100 0.0160 0.0240 0.0260 0.0280 0.0212 0.0066 0.0100 0.0180 0.3140 0.0200 0.0186 0.0058 0.0100 0.0280 0.0212 0.0066
426-AH 0.0000 0.0140 0.0140 0.0160 0.0160 0.0134 0.0042 0.0020 0.0160 0.3116 0.0094 0.0002 0.0029 0.0140 0.0160 0.0152 0.0010
427-AH 0.0220 0.0280 0.0280 0.0280 0.0280 0.0272 0.0020 0.0000 0.0060 0.0749 0.0271 0.0270 0.0014 0.0280 0.0280 0.0280 0.0000
428-AH 0.0040 0.0165 0.0180 0.0255 0.0280 0.0197 0.0075 0.0090 0.0240 0.3791 0.0177 0.0147 0.0060 0.0040 0.0280 0.0197 0.0075
429-AH 0.0120 0.0145 0.0160 0.0210 0.0240 0.0177 0.0040 0.0065 0.0120 0.2239 0.0173 0.0169 0.0032 0.0120 0.0240 0.0177 0.0040
430-AH 0.0020 0.0100 0.0140 0.0180 0.0180 0.0135 0.0047 0.0080 0.0160 0.3493 0.0122 0.0101 0.0040 0.0020 0.0180 0.0135 0.0047
431-AH 0.0280 0.0520 0.0660 0.0660 0.0660 0.0565 0.0131 0.0140 0.0380 0.2323 0.0547 0.0524 0.0105 0.0320 0.0660 0.0581 0.0115
432-AH 0.0160 0.0240 0.0240 0.0240 0.0240 0.0233 0.0020 0.0000 0.0080 0.0870 0.0232 0.0230 0.0012 0.0240 0.0240 0.0240 0.0000
433-AH 0.0640 0.0840 0.0860 0.0860 0.0860 0.0824 0.0071 0.0020 0.0220 0.0866 0.0821 0.0817 0.0050 0.0820 0.0860 0.0854 0.0012
434-AH 0.0260 0.0480 0.0480 0.0480 0.0480 0.0454 0.0064 0.0000 0.0220 0.1417 0.0448 0.0441 0.0044 0.0480 0.0480 0.0480 0.0000
435-AH 0.0160 0.0300 0.0380 0.0580 0.0600 0.0404 0.0161 0.0280 0.0440 0.3991 0.0368 0.0329 0.0135 0.0160 0.0600 0.0404 0.0161
436-AH 0.0000 0.0000 0.0000 0.0020 0.0080 0.0014 0.0025 0.0020 0.0080 1.8263 0.0001 0.0000 0.0017 0.0000 0.0020 0.0006 0.0009
437-AH 0.0500 0.0520 0.0520 0.0520 0.0520 0.0517 0.0007 0.0000 0.0020 0.0145 0.0517 0.0517 0.0005 0.0520 0.0520 0.0520 0.0000
438-AH 0.0180 0.0265 0.0480 0.0650 0.0680 0.0464 0.0188 0.0385 0.0500 0.4046 0.0421 0.0373 0.0160 0.0180 0.0680 0.0464 0.0188
439-AH 0.0020 0.0025 0.0060 0.0135 0.0140 0.0076 0.0050 0.0110 0.0120 0.6616 0.0058 0.0043 0.0046 0.0020 0.0140 0.0076 0.0050
440-AH 0.0160 0.0240 0.0260 0.0260 0.0260 0.0244 0.0032 0.0020 0.0100 0.1297 0.0242 0.0239 0.0022 0.0220 0.0260 0.0254 0.0012
441-AH 0.0260 0.0300 0.0300 0.0300 0.0300 0.0296 0.0011 0.0000 0.0040 0.0362 0.0296 0.0295 0.0007 0.0300 0.0300 0.0300 0.0000
442-AH 0.0160 0.0180 0.0180 0.0180 0.0180 0.0178 0.0006 0.0000 0.0020 0.0354 0.0178 0.0178 0.0004 0.0180 0.0180 0.0180 0.0000
443-AH 0.0120 0.0240 0.0280 0.0485 0.0540 0.0339 0.0142 0.0245 0.0420 0.4188 0.0310 0.0282 0.0123 0.0120 0.0540 0.0339 0.0142
444-AH 0.0220 0.0265 0.0300 0.0320 0.0320 0.0292 0.0030 0.0055 0.0100 0.1031 0.0290 0.0288 0.0026 0.0220 0.0320 0.0292 0.0030
445-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
446-AH 0.0000 0.0005 0.0040 0.0095 0.0120 0.0044 0.0042 0.0090 0.0120 0.9487 0.0010 0.0000 0.0035 0.0000 0.0120 0.0044 0.0042
447-AH 0.0440 0.0460 0.0460 0.0460 0.0460 0.0458 0.0006 0.0000 0.0020 0.0138 0.0458 0.0458 0.0004 0.0460 0.0460 0.0460 0.0000
448-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
449-AH 0.0220 0.0505 0.0540 0.0540 0.0540 0.0488 0.0096 0.0035 0.0320 0.1970 0.0476 0.0460 0.0073 0.0500 0.0540 0.0535 0.0012
450-AH 0.0140 0.0255 0.0380 0.0420 0.0500 0.0331 0.0114 0.0165 0.0360 0.3449 0.0306 0.0278 0.0094 0.0140 0.0500 0.0331 0.0114
110
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-HU-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0140 0.0220 0.0260 0.0278 0.0290 0.0242 0.0048 0.0058 0.0150 0.2001 0.0236 0.0229 0.0038 0.0140 0.0290 0.0242 0.0048
402-AH 0.0160 0.0180 0.0200 0.0210 0.0210 0.0195 0.0018 0.0030 0.0050 0.0912 0.0194 0.0193 0.0016 0.0160 0.0210 0.0195 0.0018
403-AH 0.0060 0.0100 0.0110 0.0120 0.0120 0.0107 0.0015 0.0020 0.0060 0.1383 0.0106 0.0105 0.0011 0.0090 0.0120 0.0110 0.0010
404-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
405-AH 0.0020 0.0030 0.0040 0.0040 0.0040 0.0035 0.0008 0.0010 0.0020 0.2190 0.0034 0.0033 0.0006 0.0020 0.0040 0.0035 0.0008
406-AH 0.0200 0.0260 0.0280 0.0290 0.0290 0.0269 0.0024 0.0030 0.0090 0.0905 0.0268 0.0267 0.0020 0.0240 0.0290 0.0273 0.0018
407-AH 0.0070 0.0080 0.0080 0.0080 0.0080 0.0078 0.0004 0.0000 0.0010 0.0538 0.0078 0.0078 0.0003 0.0080 0.0080 0.0080 0.0000
408-AH 0.0080 0.0240 0.0300 0.0310 0.0310 0.0258 0.0068 0.0070 0.0230 0.2613 0.0246 0.0227 0.0052 0.0200 0.0310 0.0277 0.0040
409-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0039 0.0003 0.0000 0.0010 0.0810 0.0039 0.0039 0.0002 0.0040 0.0040 0.0040 0.0000
410-AH 0.0210 0.0220 0.0220 0.0220 0.0220 0.0218 0.0004 0.0000 0.0010 0.0172 0.0218 0.0218 0.0003 0.0220 0.0220 0.0220 0.0000
411-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
412-AH 0.0140 0.0222 0.0300 0.0340 0.0350 0.0279 0.0073 0.0118 0.0210 0.2628 0.0269 0.0256 0.0063 0.0140 0.0350 0.0279 0.0073
413-AH 0.0200 0.0230 0.0240 0.0240 0.0240 0.0232 0.0014 0.0010 0.0040 0.0585 0.0232 0.0231 0.0010 0.0230 0.0240 0.0238 0.0004
414-AH 0.0020 0.0030 0.0030 0.0040 0.0040 0.0034 0.0006 0.0010 0.0020 0.1773 0.0033 0.0033 0.0005 0.0020 0.0040 0.0034 0.0006
415-AH 0.0480 0.0570 0.0630 0.0660 0.0660 0.0615 0.0053 0.0090 0.0180 0.0870 0.0612 0.0610 0.0043 0.0480 0.0660 0.0615 0.0053
416-AH 0.0110 0.0110 0.0110 0.0110 0.0110 0.0110 0.0000 0.0000 0.0000 0.0000 0.0110 0.0110 0.0000 0.0110 0.0110 0.0110 0.0000
417-AH 0.0020 0.0110 0.0110 0.0110 0.0110 0.0096 0.0031 0.0000 0.0090 0.3250 0.0087 0.0070 0.0022 0.0110 0.0110 0.0110 0.0000
418-AH 0.0190 0.0190 0.0190 0.0190 0.0190 0.0190 0.0000 0.0000 0.0000 0.0000 0.0190 0.0190 0.0000 0.0190 0.0190 0.0190 0.0000
419-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
420-AH 0.0120 0.0173 0.0190 0.0207 0.0210 0.0187 0.0023 0.0035 0.0090 0.1231 0.0186 0.0184 0.0018 0.0160 0.0210 0.0191 0.0017
421-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
422-AH 0.0170 0.0422 0.0490 0.0520 0.0570 0.0448 0.0108 0.0098 0.0400 0.2412 0.0432 0.0409 0.0080 0.0370 0.0570 0.0488 0.0054
423-AH 0.0040 0.0050 0.0050 0.0050 0.0050 0.0048 0.0004 0.0000 0.0010 0.0774 0.0048 0.0048 0.0003 0.0050 0.0050 0.0050 0.0000
424-AH 0.0150 0.0170 0.0180 0.0180 0.0180 0.0174 0.0008 0.0010 0.0030 0.0478 0.0173 0.0173 0.0007 0.0160 0.0180 0.0175 0.0006
425-AH 0.0060 0.0090 0.0130 0.0140 0.0140 0.0111 0.0033 0.0050 0.0080 0.2962 0.0105 0.0099 0.0029 0.0060 0.0140 0.0111 0.0033
426-AH 0.0000 0.0070 0.0080 0.0080 0.0080 0.0069 0.0021 0.0010 0.0080 0.3054 0.0050 0.0002 0.0014 0.0060 0.0080 0.0077 0.0006
427-AH 0.0120 0.0140 0.0140 0.0140 0.0140 0.0137 0.0007 0.0000 0.0020 0.0548 0.0137 0.0136 0.0005 0.0140 0.0140 0.0140 0.0000
428-AH 0.0030 0.0090 0.0100 0.0130 0.0140 0.0104 0.0034 0.0040 0.0110 0.3298 0.0096 0.0087 0.0028 0.0030 0.0140 0.0104 0.0034
429-AH 0.0060 0.0092 0.0100 0.0118 0.0130 0.0103 0.0017 0.0025 0.0070 0.1683 0.0101 0.0099 0.0013 0.0060 0.0130 0.0103 0.0017
430-AH 0.0010 0.0063 0.0090 0.0090 0.0090 0.0075 0.0022 0.0027 0.0080 0.2971 0.0069 0.0056 0.0018 0.0050 0.0090 0.0078 0.0016
431-AH 0.0170 0.0265 0.0330 0.0330 0.0330 0.0294 0.0053 0.0065 0.0160 0.1803 0.0289 0.0282 0.0043 0.0170 0.0330 0.0294 0.0053
432-AH 0.0080 0.0120 0.0120 0.0120 0.0120 0.0117 0.0010 0.0000 0.0040 0.0858 0.0116 0.0116 0.0006 0.0120 0.0120 0.0120 0.0000
433-AH 0.0340 0.0422 0.0430 0.0430 0.0430 0.0416 0.0031 0.0008 0.0090 0.0745 0.0415 0.0413 0.0022 0.0420 0.0430 0.0429 0.0003
434-AH 0.0140 0.0240 0.0240 0.0240 0.0240 0.0228 0.0029 0.0000 0.0100 0.1249 0.0226 0.0224 0.0020 0.0240 0.0240 0.0240 0.0000
435-AH 0.0110 0.0163 0.0230 0.0297 0.0300 0.0222 0.0071 0.0135 0.0190 0.3175 0.0210 0.0198 0.0062 0.0110 0.0300 0.0222 0.0071
436-AH 0.0000 0.0000 0.0000 0.0010 0.0040 0.0009 0.0013 0.0010 0.0040 1.4378 0.0001 0.0000 0.0009 0.0000 0.0020 0.0005 0.0007
437-AH 0.0250 0.0260 0.0260 0.0260 0.0260 0.0258 0.0004 0.0000 0.0010 0.0145 0.0258 0.0258 0.0003 0.0260 0.0260 0.0260 0.0000
438-AH 0.0130 0.0202 0.0280 0.0330 0.0340 0.0256 0.0079 0.0128 0.0210 0.3107 0.0242 0.0226 0.0067 0.0130 0.0340 0.0256 0.0079
439-AH 0.0010 0.0015 0.0060 0.0070 0.0070 0.0047 0.0025 0.0055 0.0060 0.5259 0.0037 0.0026 0.0021 0.0010 0.0070 0.0047 0.0025
440-AH 0.0090 0.0130 0.0130 0.0130 0.0130 0.0125 0.0013 0.0000 0.0040 0.1009 0.0125 0.0124 0.0008 0.0130 0.0130 0.0130 0.0000
441-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
442-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
443-AH 0.0070 0.0130 0.0160 0.0268 0.0270 0.0183 0.0072 0.0138 0.0200 0.3937 0.0169 0.0154 0.0065 0.0070 0.0270 0.0183 0.0072
444-AH 0.0130 0.0140 0.0160 0.0160 0.0160 0.0152 0.0011 0.0020 0.0030 0.0746 0.0152 0.0151 0.0010 0.0130 0.0160 0.0152 0.0011
445-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
446-AH 0.0000 0.0013 0.0030 0.0050 0.0060 0.0031 0.0021 0.0037 0.0060 0.6865 0.0013 0.0001 0.0018 0.0000 0.0060 0.0031 0.0021
447-AH 0.0230 0.0230 0.0230 0.0230 0.0230 0.0230 0.0000 0.0000 0.0000 0.0000 0.0230 0.0230 0.0000 0.0230 0.0230 0.0230 0.0000
448-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
449-AH 0.0120 0.0270 0.0270 0.0270 0.0270 0.0252 0.0043 0.0000 0.0150 0.1691 0.0247 0.0241 0.0029 0.0270 0.0270 0.0270 0.0000
450-AH 0.0070 0.0145 0.0240 0.0260 0.0260 0.0201 0.0069 0.0115 0.0190 0.3433 0.0186 0.0169 0.0060 0.0070 0.0260 0.0201 0.0069
111
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
nolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) Top 5 Participants − Standard Recall Levels vs Mean Interpo
100%
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; MAP 44.02%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; MAP 43.42%; Not Pooled]
90% nottingham [Experiment MONOT; MAP 42.74%; Pooled]
depok [Experiment UIQTDMONO; MAP 40.57%; Pooled]
hyderabad [Experiment ENTD_OMENG07; MAP 40.16%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; MAP 44.02%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; MAP 43.42%; Not Pooled]
nottingham [Experiment MONOT; MAP 42.74%; Pooled]
0.8
depok [Experiment UIQTDMONO; MAP 40.57%; Pooled]
hyderabad [Experiment ENTD_OMENG07; MAP 40.16%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; MAP 44.02%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; MAP 43.42%; Not Pooled]
nottingham [Experiment MONOT; MAP 42.74%; Pooled]
0.8
depok [Experiment UIQTDMONO; MAP 40.57%; Pooled]
hyderabad [Experiment ENTD_OMENG07; MAP 40.16%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
112
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box Plot of the
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; MAP 44.02%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; MAP 43.42%; Not Pooled]
jhu−apl [Experiment APLMOENTDN4; MAP 43.35%; Pooled]
nottingham [Experiment MONOT; MAP 42.74%; Pooled]
depok [Experiment UIQTDMONO; MAP 40.57%; Pooled]
jhu−apl [Experiment APLMOENTD4; MAP 40.36%; Not Pooled]
hyderabad [Experiment ENTD_OMENG07; MAP 40.16%; Pooled]
msindia [Experiment 2007_LM_ALL_MONO_1000_POSSCORES; MAP 39.64%; Not Pooled]
nottingham [Experiment MONOTD; MAP 39.28%; Not Pooled]
msindia [Experiment LM_ALL_MONO_TD_1000_POSSCORES; MAP 39.16%; Not Pooled]
hyderabad [Experiment OMENG07; MAP 38.91%; Not Pooled]
hyderabad [Experiment ENTDN_OMENG07; MAP 38.91%; Not Pooled]
hyderabad [Experiment OMENG07E; MAP 38.91%; Not Pooled]
bombay−ltrc [Experiment IITB_MONO_TITLE; MAP 38.56%; Pooled]
depok [Experiment UIQTMONO; MAP 38.35%; Not Pooled]
Experiments
msindia [Experiment RBLM_ALL_MONO_TD_1000_POSSCORES; MAP 37.35%; Not Pooled]
hyderabad [Experiment ENGMONO; MAP 36.87%; Not Pooled]
kharagpur [Experiment ENGLISHTITLEDESC; MAP 36.49%; Not Pooled]
kharagpur [Experiment ENGLISHTITLEDESCNARR; MAP 36.16%; Not Pooled]
msindia [Experiment 2007_RBLM_ALL_MONO_1000_POSSCORES; MAP 35.13%; Pooled]
depok [Experiment UIQDMONO; MAP 33.89%; Not Pooled]
budapest−acad [Experiment MONOEN2; MAP 33.32%; Not Pooled]
budapest−acad [Experiment MONOEN4; MAP 33.17%; Not Pooled]
budapest−acad [Experiment MONOEN6; MAP 33.11%; Not Pooled]
budapest−acad [Experiment MONOEN3; MAP 32.77%; Not Pooled]
budapest−acad [Experiment MONOEN5; MAP 32.64%; Not Pooled]
budapest−acad [Experiment MONOEN1; MAP 32.56%; Pooled]
kharagpur [Experiment ENGLISHTITLE; MAP 30.56%; Pooled]
stockholm [Experiment DSV_ENG_MONO_LONG; MAP 24.05%; Not Pooled]
stockholm [Experiment DSV_ENG_MONO_RUN0; MAP 22.84%; Pooled]
jadavpur [Experiment AHMONOENR1; MAP 12.33%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
113
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
10.2455/TUKEY_T_TEST.430FD660255B5646DE62C1BFFFB0E298
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Tukey T test with "top group" highlighted
IITB_MONO_TITLE_DESC
APLMOENTDN4
APLMOENTD5
MONOT
ENTD_OMENG07
UIQTDMONO
APLMOENTD4
LM_ALL_MONO_TD_1000_POSSCORES
2007_LM_ALL_MONO_1000_POSSCORES
IITB_MONO_TITLE
UIQTMONO
OMENG07E
ENTDN_OMENG07
Experiments
OMENG07
MONOTD
RBLM_ALL_MONO_TD_1000_POSSCORES
ENGMONO
ENGLISHTITLEDESC
ENGLISHTITLEDESCNARR
2007_RBLM_ALL_MONO_1000_POSSCORES
UIQDMONO
MONOEN6
MONOEN2
MONOEN4
MONOEN3
MONOEN5
MONOEN1
ENGLISHTITLE
DSV_ENG_MONO_LONG
DSV_ENG_MONO_RUN0
AHMONOENR1
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
arcsin(sqrt(Average Precsion))
114
115
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) Top 5 Participants − Retrieved documents vs Mean Pr
100%
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; R−Prec 43.30%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; R−Prec 42.55%; Not Pooled]
90% nottingham [Experiment MONOT; R−Prec 41.85%; Pooled]
depok [Experiment UIQTDMONO; R−Prec 39.16%; Pooled]
hyderabad [Experiment ENTD_OMENG07; R−Prec 39.52%; Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; R−Prec 43.30%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; R−Prec 42.55%; Not Pooled]
nottingham [Experiment MONOT; R−Prec 41.85%; Pooled]
0.8
depok [Experiment UIQTDMONO; R−Prec 39.16%; Pooled]
hyderabad [Experiment ENTD_OMENG07; R−Prec 39.52%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; R−Prec 43.30%; Not Pooled]
jhu−apl [Experiment APLMOENTD5; R−Prec 42.55%; Not Pooled]
nottingham [Experiment MONOT; R−Prec 41.85%; Pooled]
0.8
depok [Experiment UIQTDMONO; R−Prec 39.16%; Pooled]
hyderabad [Experiment ENTD_OMENG07; R−Prec 39.52%; Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
116
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box Plot of the
bombay−ltrc [Experiment IITB_MONO_TITLE_DESC; R−Prec 43.30%; Not Pooled]
jhu−apl [Experiment APLMOENTDN4; R−Prec 43.04%; Pooled]
jhu−apl [Experiment APLMOENTD5; R−Prec 42.55%; Not Pooled]
nottingham [Experiment MONOT; R−Prec 41.85%; Pooled]
msindia [Experiment 2007_LM_ALL_MONO_1000_POSSCORES; R−Prec 40.70%; Not Pooled]
jhu−apl [Experiment APLMOENTD4; R−Prec 40.38%; Not Pooled]
msindia [Experiment LM_ALL_MONO_TD_1000_POSSCORES; R−Prec 39.99%; Not Pooled]
hyderabad [Experiment ENGMONO; R−Prec 39.79%; Not Pooled]
nottingham [Experiment MONOTD; R−Prec 39.73%; Not Pooled]
hyderabad [Experiment ENTD_OMENG07; R−Prec 39.52%; Pooled]
msindia [Experiment RBLM_ALL_MONO_TD_1000_POSSCORES; R−Prec 39.31%; Not Pooled]
depok [Experiment UIQTDMONO; R−Prec 39.16%; Pooled]
bombay−ltrc [Experiment IITB_MONO_TITLE; R−Prec 38.20%; Pooled]
depok [Experiment UIQTMONO; R−Prec 37.56%; Not Pooled]
hyderabad [Experiment OMENG07; R−Prec 37.08%; Not Pooled]
Experiments
hyderabad [Experiment ENTDN_OMENG07; R−Prec 37.08%; Not Pooled]
hyderabad [Experiment OMENG07E; R−Prec 37.08%; Not Pooled]
msindia [Experiment 2007_RBLM_ALL_MONO_1000_POSSCORES; R−Prec 37.02%; Pooled]
budapest−acad [Experiment MONOEN2; R−Prec 36.13%; Not Pooled]
budapest−acad [Experiment MONOEN6; R−Prec 35.91%; Not Pooled]
budapest−acad [Experiment MONOEN4; R−Prec 35.47%; Not Pooled]
depok [Experiment UIQDMONO; R−Prec 35.34%; Not Pooled]
budapest−acad [Experiment MONOEN1; R−Prec 35.30%; Pooled]
kharagpur [Experiment ENGLISHTITLEDESCNARR; R−Prec 34.99%; Not Pooled]
kharagpur [Experiment ENGLISHTITLEDESC; R−Prec 34.81%; Not Pooled]
budapest−acad [Experiment MONOEN5; R−Prec 34.66%; Not Pooled]
budapest−acad [Experiment MONOEN3; R−Prec 34.62%; Not Pooled]
kharagpur [Experiment ENGLISHTITLE; R−Prec 31.57%; Pooled]
stockholm [Experiment DSV_ENG_MONO_LONG; R−Prec 25.50%; Not Pooled]
stockholm [Experiment DSV_ENG_MONO_RUN0; R−Prec 24.47%; Pooled]
jadavpur [Experiment AHMONOENR1; R−Prec 14.40%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
117
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Tukey T test with "top group" highlighted
APLMOENTDN4
IITB_MONO_TITLE_DESC
APLMOENTD5
2007_LM_ALL_MONO_1000_POSSCORES
ENGMONO
ENTD_OMENG07
LM_ALL_MONO_TD_1000_POSSCORES
MONOT
APLMOENTD4
RBLM_ALL_MONO_TD_1000_POSSCORES
UIQTDMONO
MONOTD
IITB_MONO_TITLE
Experiments
UIQTMONO
OMENG07E
ENTDN_OMENG07
OMENG07
2007_RBLM_ALL_MONO_1000_POSSCORES
MONOEN6
MONOEN2
MONOEN4
MONOEN1
UIQDMONO
ENGLISHTITLEDESC
MONOEN5
ENGLISHTITLEDESCNARR
MONOEN3
ENGLISHTITLE
DSV_ENG_MONO_LONG
DSV_ENG_MONO_RUN0
AHMONOENR1
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
arcsin(sqrt(R−Precision))
118
119
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 5.00 6.00 6.00 6.00 6.00 5.90 0.30 0.00 1.00 0.05 5.90 5.89 0.17 6.00 6.00 6.00 0.00
402-AH 3.00 54.00 57.00 60.00 61.00 54.42 10.57 6.00 58.00 0.19 50.90 35.56 5.34 51.00 61.00 57.07 3.04
403-AH 11.00 34.75 49.00 55.25 61.00 44.90 12.96 20.50 50.00 0.29 42.38 38.71 10.38 11.00 61.00 44.90 12.96
404-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
405-AH 12.00 20.00 21.00 21.00 21.00 20.23 1.82 1.00 9.00 0.09 20.12 19.99 1.10 19.00 21.00 20.71 0.60
406-AH 9.00 15.00 19.00 20.00 21.00 17.61 2.93 5.00 12.00 0.17 17.33 17.00 2.37 9.00 21.00 17.61 2.93
407-AH 13.00 23.00 23.00 23.00 23.00 22.48 1.81 0.00 10.00 0.08 22.39 22.25 0.80 23.00 23.00 23.00 0.00
408-AH 15.00 18.00 18.00 18.00 18.00 17.32 1.28 0.00 3.00 0.07 17.27 17.22 1.05 18.00 18.00 18.00 0.00
409-AH 15.00 19.00 19.00 19.00 19.00 18.84 0.73 0.00 4.00 0.04 18.82 18.80 0.30 19.00 19.00 19.00 0.00
410-AH 17.00 47.00 47.00 47.00 47.00 46.03 5.39 0.00 30.00 0.12 45.48 44.47 1.87 47.00 47.00 47.00 0.00
411-AH 2.00 10.00 10.00 10.00 10.00 9.58 1.46 0.00 8.00 0.15 9.33 8.72 0.68 10.00 10.00 10.00 0.00
412-AH 7.00 11.00 19.00 22.00 23.00 17.16 5.24 11.00 16.00 0.31 16.23 15.17 4.64 7.00 23.00 17.16 5.24
413-AH 8.00 14.00 15.00 15.00 15.00 14.19 1.80 1.00 7.00 0.13 14.05 13.86 1.09 14.00 15.00 14.75 0.44
414-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
415-AH 11.00 53.25 62.00 64.00 69.00 58.65 10.45 10.75 58.00 0.18 56.77 52.24 6.78 51.00 69.00 60.23 5.67
416-AH 28.00 32.00 33.00 33.00 33.00 32.48 1.15 1.00 5.00 0.04 32.46 32.44 0.73 32.00 33.00 32.76 0.44
417-AH 24.00 28.00 49.00 84.00 94.00 57.42 25.96 56.00 70.00 0.45 51.21 45.21 23.75 24.00 94.00 57.42 25.96
418-AH 12.00 14.00 14.00 14.00 14.00 13.90 0.40 0.00 2.00 0.03 13.90 13.89 0.18 14.00 14.00 14.00 0.00
419-AH 20.00 23.00 23.00 23.00 23.00 22.87 0.56 0.00 3.00 0.02 22.86 22.86 0.24 23.00 23.00 23.00 0.00
420-AH 14.00 34.00 42.00 44.75 46.00 39.00 6.98 10.75 32.00 0.18 38.18 36.98 5.61 31.00 46.00 39.83 5.30
421-AH 7.00 11.00 12.00 12.00 12.00 10.84 1.90 1.00 5.00 0.18 10.64 10.41 1.48 10.00 12.00 11.72 0.54
422-AH 2.00 35.00 36.00 40.75 58.00 35.48 11.68 5.75 56.00 0.33 31.26 19.95 7.15 27.00 46.00 36.79 4.48
423-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
424-AH 2.00 4.00 4.00 5.00 5.00 4.16 0.90 1.00 3.00 0.22 4.05 3.91 0.70 3.00 5.00 4.31 0.71
425-AH 20.00 32.00 35.00 36.00 37.00 34.00 3.87 4.00 17.00 0.11 33.74 33.42 2.77 26.00 37.00 34.47 2.92
426-AH 7.00 65.00 113.00 124.50 153.00 98.32 37.36 59.50 146.00 0.38 87.66 64.71 33.30 7.00 153.00 98.32 37.36
427-AH 1.00 16.00 16.00 16.00 16.00 14.90 3.78 0.00 15.00 0.25 13.26 8.09 1.98 16.00 16.00 16.00 0.00
428-AH 5.00 8.00 9.00 10.00 11.00 8.94 1.24 2.00 6.00 0.14 8.84 8.73 0.93 5.00 11.00 8.94 1.24
429-AH 11.00 44.25 52.00 55.75 59.00 49.42 9.28 11.50 48.00 0.19 47.93 44.86 6.74 42.00 59.00 50.70 6.04
430-AH 12.00 25.00 26.00 29.75 31.00 26.10 4.11 4.75 19.00 0.16 25.70 25.18 2.76 18.00 31.00 26.57 3.22
431-AH 12.00 18.25 19.00 20.00 20.00 18.58 2.01 1.75 8.00 0.11 18.46 18.31 1.40 16.00 20.00 19.14 1.01
432-AH 1.00 21.00 21.00 22.00 22.00 20.03 5.17 1.00 21.00 0.26 17.50 9.22 2.65 20.00 22.00 21.50 0.58
433-AH 213.00 252.00 254.00 255.00 255.00 251.94 7.78 3.00 42.00 0.03 251.81 251.67 3.60 251.00 255.00 253.89 1.37
434-AH 72.00 92.00 102.00 105.00 111.00 97.74 11.92 13.00 39.00 0.12 96.98 96.15 9.41 76.00 111.00 99.52 10.08
435-AH 73.00 100.00 109.00 111.00 113.00 104.55 9.50 11.00 40.00 0.09 104.08 103.55 7.30 84.00 113.00 105.60 7.61
436-AH 2.00 26.00 61.00 70.00 77.00 48.97 26.02 44.00 75.00 0.53 36.13 17.72 23.39 2.00 77.00 48.97 26.02
437-AH 131.00 160.00 164.00 167.00 168.00 161.87 7.28 7.00 37.00 0.04 161.70 161.51 4.49 158.00 168.00 163.48 3.32
438-AH 25.00 29.00 30.00 30.00 30.00 29.35 1.11 1.00 5.00 0.04 29.33 29.31 0.83 28.00 30.00 29.50 0.78
439-AH 3.00 34.25 38.00 43.50 51.00 35.32 11.95 9.25 48.00 0.34 31.20 21.88 8.42 21.00 51.00 39.00 6.94
440-AH 11.00 13.50 16.00 18.00 18.00 15.84 2.13 4.50 7.00 0.13 15.69 15.53 1.71 11.00 18.00 15.84 2.13
441-AH 7.00 8.00 9.00 9.00 9.00 8.61 0.56 1.00 2.00 0.06 8.59 8.58 0.50 7.00 9.00 8.61 0.56
442-AH 8.00 9.00 9.00 9.00 12.00 9.26 1.29 0.00 4.00 0.14 9.18 9.11 0.88 9.00 9.00 9.00 0.00
443-AH 27.00 37.00 40.00 42.00 42.00 38.65 4.25 5.00 15.00 0.11 38.38 38.07 3.08 36.00 42.00 39.86 2.09
444-AH 21.00 25.00 25.00 25.00 25.00 24.87 0.72 0.00 4.00 0.03 24.86 24.85 0.25 25.00 25.00 25.00 0.00
445-AH 1.00 4.00 4.00 4.00 4.00 3.61 0.84 0.00 3.00 0.23 3.45 3.15 0.60 4.00 4.00 4.00 0.00
446-AH 10.00 11.00 12.00 12.00 12.00 11.52 0.72 1.00 2.00 0.06 11.49 11.47 0.62 10.00 12.00 11.52 0.72
447-AH 6.00 6.00 6.00 6.00 6.00 6.00 0.00 0.00 0.00 0.00 6.00 6.00 0.00 6.00 6.00 6.00 0.00
448-AH 3.00 4.00 4.00 4.00 4.00 3.97 0.18 0.00 1.00 0.05 3.96 3.96 0.06 4.00 4.00 4.00 0.00
449-AH 30.00 37.75 49.00 51.75 63.00 45.77 9.75 14.00 33.00 0.21 44.73 43.65 8.23 30.00 63.00 45.77 9.75
450-AH 13.00 32.25 39.00 51.25 56.00 39.61 12.71 19.00 43.00 0.32 37.13 34.01 10.03 13.00 56.00 39.61 12.71
120
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1818 0.3570 0.4059 0.4588 0.5021 0.3963 0.0791 0.1018 0.3203 0.1997 0.3867 0.3747 0.0600 0.2079 0.5021 0.4034 0.0696
402-AH 0.0001 0.4331 0.5125 0.5850 0.7114 0.4821 0.1720 0.1519 0.7113 0.3568 0.3578 0.0037 0.1236 0.2407 0.7114 0.5237 0.1177
403-AH 0.0023 0.0640 0.1391 0.1813 0.3012 0.1271 0.0721 0.1172 0.2989 0.5670 0.0975 0.0390 0.0621 0.0023 0.3012 0.1271 0.0721
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.2395 0.3612 0.4798 0.5627 0.6263 0.4743 0.1093 0.2015 0.3868 0.2305 0.4611 0.4470 0.0962 0.2395 0.6263 0.4743 0.1093
406-AH 0.0163 0.0834 0.1911 0.2614 0.3844 0.1823 0.0996 0.1780 0.3681 0.5461 0.1502 0.1101 0.0801 0.0163 0.3844 0.1823 0.0996
407-AH 0.0780 0.4115 0.4644 0.7436 0.8377 0.5162 0.1837 0.3321 0.7598 0.3558 0.4774 0.4158 0.1482 0.0780 0.8377 0.5162 0.1837
408-AH 0.0792 0.2832 0.3453 0.3853 0.5549 0.3168 0.1330 0.1021 0.4757 0.4198 0.2747 0.2177 0.0991 0.2470 0.4705 0.3580 0.0494
409-AH 0.0417 0.3724 0.4768 0.5174 0.6585 0.4368 0.1324 0.1450 0.6168 0.3031 0.4034 0.3244 0.1031 0.2532 0.6585 0.4499 0.1121
410-AH 0.0083 0.6058 0.6738 0.7358 0.7869 0.6573 0.1408 0.1300 0.7786 0.2142 0.5857 0.1874 0.0822 0.5627 0.7869 0.6790 0.0741
411-AH 0.0025 0.0432 0.0632 0.0786 0.1196 0.0656 0.0256 0.0354 0.1171 0.3903 0.0577 0.0347 0.0196 0.0025 0.1196 0.0656 0.0256
412-AH 0.0045 0.0138 0.0379 0.0992 0.2922 0.0658 0.0676 0.0853 0.2877 1.0274 0.0374 0.0197 0.0506 0.0045 0.1507 0.0521 0.0428
413-AH 0.0423 0.2689 0.3127 0.3638 0.4099 0.2965 0.0944 0.0949 0.3676 0.3184 0.2694 0.2161 0.0684 0.1998 0.4099 0.3209 0.0585
414-AH 0.0252 0.5439 0.6888 0.7493 0.8542 0.6383 0.1552 0.2053 0.8289 0.2431 0.5853 0.3587 0.1167 0.5026 0.8542 0.6587 0.1073
415-AH 0.0018 0.1722 0.3000 0.3662 0.4733 0.2797 0.1136 0.1940 0.4714 0.4062 0.2277 0.0461 0.0926 0.0018 0.4733 0.2797 0.1136
416-AH 0.0717 0.4420 0.5713 0.6756 0.7256 0.5585 0.1402 0.2337 0.6539 0.2511 0.5280 0.4550 0.1085 0.4093 0.7256 0.5747 0.1091
417-AH 0.0153 0.0513 0.1096 0.2145 0.2731 0.1247 0.0877 0.1632 0.2578 0.7038 0.0866 0.0507 0.0741 0.0153 0.2731 0.1247 0.0877
418-AH 0.0405 0.6091 0.6876 0.7142 0.7643 0.6297 0.1529 0.1051 0.7238 0.2429 0.5822 0.4222 0.0979 0.4653 0.7643 0.6640 0.0750
419-AH 0.1195 0.3843 0.5250 0.5908 0.7198 0.4861 0.1520 0.2065 0.6003 0.3128 0.4523 0.4020 0.1214 0.1195 0.7198 0.4861 0.1520
420-AH 0.0053 0.1051 0.4136 0.4920 0.6160 0.3409 0.1883 0.3868 0.6107 0.5523 0.2494 0.0923 0.1604 0.0053 0.6160 0.3409 0.1883
421-AH 0.0125 0.4251 0.4998 0.5816 0.8624 0.4982 0.1499 0.1564 0.8499 0.3008 0.4446 0.2190 0.1103 0.3023 0.6851 0.5024 0.1043
422-AH 0.0001 0.0264 0.0297 0.0564 0.0923 0.0384 0.0236 0.0300 0.0922 0.6158 0.0243 0.0014 0.0196 0.0001 0.0923 0.0384 0.0236
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0060 0.0631 0.1202 0.2314 0.6082 0.1566 0.1434 0.1683 0.6022 0.9159 0.0984 0.0482 0.1082 0.0060 0.4720 0.1415 0.1184
425-AH 0.0171 0.0693 0.1363 0.2218 0.2920 0.1426 0.0776 0.1526 0.2749 0.5440 0.1195 0.0937 0.0678 0.0171 0.2920 0.1426 0.0776
426-AH 0.0021 0.0730 0.1712 0.2095 0.2545 0.1413 0.0735 0.1365 0.2523 0.5201 0.1103 0.0409 0.0671 0.0021 0.2545 0.1413 0.0735
427-AH 0.0001 0.2464 0.3645 0.4589 0.6079 0.3616 0.1655 0.2125 0.6078 0.4578 0.2089 0.0011 0.1312 0.0001 0.6079 0.3616 0.1655
428-AH 0.0157 0.0856 0.2376 0.3281 0.5086 0.2138 0.1484 0.2426 0.4929 0.6941 0.1508 0.0861 0.1270 0.0157 0.5086 0.2138 0.1484
429-AH 0.0019 0.1346 0.2831 0.3892 0.4454 0.2619 0.1276 0.2546 0.4435 0.4874 0.2058 0.0461 0.1142 0.0019 0.4454 0.2619 0.1276
430-AH 0.0037 0.4970 0.5240 0.5646 0.7321 0.4920 0.1680 0.0676 0.7284 0.3414 0.3624 0.0609 0.0953 0.4594 0.6335 0.5364 0.0410
431-AH 0.0137 0.1904 0.2560 0.3864 0.7543 0.2957 0.1862 0.1960 0.7406 0.6296 0.2089 0.0933 0.1489 0.0137 0.6496 0.2805 0.1684
432-AH 0.0001 0.2052 0.2240 0.2606 0.3894 0.2251 0.0766 0.0555 0.3893 0.3403 0.1437 0.0017 0.0468 0.1417 0.3127 0.2311 0.0348
433-AH 0.3930 0.6647 0.7354 0.7929 0.8150 0.7192 0.0858 0.1282 0.4221 0.1193 0.7132 0.7057 0.0655 0.6277 0.8150 0.7301 0.0618
434-AH 0.2897 0.3720 0.6750 0.7705 0.9354 0.6172 0.2291 0.3985 0.6457 0.3712 0.5707 0.5222 0.1981 0.2897 0.9354 0.6172 0.2291
435-AH 0.2700 0.4256 0.6212 0.7070 0.7584 0.5749 0.1461 0.2813 0.4884 0.2542 0.5548 0.5328 0.1289 0.2700 0.7584 0.5749 0.1461
436-AH 0.0004 0.0543 0.1693 0.2486 0.3449 0.1547 0.1096 0.1943 0.3446 0.7085 0.0710 0.0042 0.0937 0.0004 0.3449 0.1547 0.1096
437-AH 0.1931 0.3380 0.5697 0.6405 0.7319 0.5116 0.1550 0.3026 0.5388 0.3031 0.4850 0.4550 0.1404 0.1931 0.7319 0.5116 0.1550
438-AH 0.0355 0.1016 0.1673 0.2151 0.3081 0.1555 0.0774 0.1135 0.2726 0.4980 0.1300 0.0999 0.0619 0.0355 0.3081 0.1555 0.0774
439-AH 0.0001 0.0300 0.0370 0.0713 0.1078 0.0494 0.0303 0.0413 0.1077 0.6140 0.0319 0.0027 0.0262 0.0001 0.1078 0.0494 0.0303
440-AH 0.0118 0.1341 0.3303 0.3906 0.6378 0.2909 0.1522 0.2565 0.6260 0.5232 0.2288 0.1297 0.1204 0.0118 0.6378 0.2909 0.1522
441-AH 0.0474 0.1865 0.2934 0.5815 0.6591 0.3752 0.2029 0.3950 0.6118 0.5409 0.3130 0.2444 0.1855 0.0474 0.6591 0.3752 0.2029
442-AH 0.2337 0.4982 0.5461 0.5904 0.7567 0.5488 0.1177 0.0921 0.5230 0.2145 0.5344 0.5165 0.0803 0.4007 0.6534 0.5395 0.0543
443-AH 0.1578 0.3678 0.4815 0.5512 0.6361 0.4493 0.1394 0.1834 0.4783 0.3102 0.4221 0.3875 0.1089 0.1578 0.6361 0.4493 0.1394
444-AH 0.1115 0.2979 0.3171 0.3518 0.4192 0.3227 0.0618 0.0540 0.3076 0.1916 0.3151 0.3041 0.0442 0.2378 0.4192 0.3297 0.0486
445-AH 0.0004 0.4710 0.6087 0.7609 0.8750 0.5713 0.2456 0.2899 0.8746 0.4299 0.3594 0.0089 0.1860 0.0540 0.8750 0.6106 0.1994
446-AH 0.0525 0.2135 0.3244 0.4579 0.7439 0.3366 0.1776 0.2444 0.6915 0.5277 0.2819 0.2159 0.1431 0.0525 0.7439 0.3366 0.1776
447-AH 0.7450 0.8833 0.9484 0.9762 1.0000 0.9253 0.0672 0.0929 0.2550 0.0727 0.9228 0.9201 0.0553 0.7450 1.0000 0.9253 0.0672
448-AH 0.0568 0.1353 0.4417 0.6615 0.9500 0.4325 0.3145 0.5262 0.8932 0.7273 0.2998 0.1879 0.2722 0.0568 0.9500 0.4325 0.3145
449-AH 0.0492 0.1260 0.2710 0.2849 0.6422 0.2650 0.1643 0.1589 0.5931 0.6200 0.2171 0.1739 0.1261 0.0492 0.5160 0.2199 0.1202
450-AH 0.0347 0.1382 0.2499 0.3010 0.4600 0.2245 0.1230 0.1628 0.4253 0.5476 0.1776 0.1225 0.1043 0.0347 0.4600 0.2245 0.1230
121
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1667 0.3333 0.3333 0.4583 0.5000 0.3710 0.0829 0.1250 0.3333 0.2234 0.3619 0.3523 0.0666 0.1667 0.5000 0.3710 0.0829
402-AH 0.0000 0.4677 0.5484 0.5968 0.6452 0.4912 0.1559 0.1290 0.6452 0.3173 0.3431 0.0003 0.1165 0.3226 0.6452 0.5388 0.0896
403-AH 0.0000 0.1449 0.1884 0.2283 0.3333 0.1884 0.0741 0.0833 0.3333 0.3932 0.1329 0.0003 0.0542 0.0435 0.3333 0.1947 0.0664
404-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2258 0.4250 0.0000 1.0000 1.8822 0.0001 0.0000 0.3496 0.0000 0.0000 0.0000 0.0000
405-AH 0.2857 0.4286 0.4762 0.5238 0.5714 0.4639 0.0684 0.0952 0.2857 0.1475 0.4586 0.4529 0.0573 0.2857 0.5714 0.4639 0.0684
406-AH 0.0476 0.1905 0.2381 0.3333 0.4762 0.2535 0.0915 0.1429 0.4286 0.3610 0.2345 0.2084 0.0773 0.0476 0.4762 0.2535 0.0915
407-AH 0.0870 0.4348 0.4783 0.7391 0.8261 0.5344 0.1725 0.3043 0.7391 0.3229 0.5001 0.4430 0.1377 0.0870 0.8261 0.5344 0.1725
408-AH 0.0556 0.2361 0.3333 0.3889 0.5556 0.2939 0.1400 0.1528 0.5000 0.4762 0.2389 0.1669 0.1118 0.0556 0.5556 0.2939 0.1400
409-AH 0.0000 0.3684 0.4737 0.5263 0.5789 0.4363 0.1225 0.1579 0.5789 0.2806 0.3121 0.0003 0.0895 0.2632 0.5789 0.4509 0.0934
410-AH 0.0000 0.5798 0.6596 0.7021 0.7660 0.6342 0.1331 0.1223 0.7660 0.2100 0.4562 0.0003 0.0753 0.5319 0.7660 0.6553 0.0633
411-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0419 0.0672 0.1000 0.2000 1.6025 0.0002 0.0000 0.0568 0.0000 0.2000 0.0419 0.0672
412-AH 0.0000 0.0370 0.0741 0.1481 0.4074 0.1039 0.1045 0.1111 0.4074 1.0054 0.0127 0.0000 0.0810 0.0000 0.2222 0.0843 0.0740
413-AH 0.1333 0.2667 0.3333 0.4000 0.5333 0.3312 0.1054 0.1333 0.4000 0.3182 0.3136 0.2943 0.0841 0.1333 0.5333 0.3312 0.1054
414-AH 0.0000 0.5000 0.5000 0.6875 0.7500 0.5484 0.1503 0.1875 0.7500 0.2740 0.3916 0.0003 0.1041 0.5000 0.7500 0.5667 0.1124
415-AH 0.0000 0.2676 0.3662 0.4049 0.5070 0.3358 0.1155 0.1373 0.5070 0.3441 0.2360 0.0003 0.0885 0.1408 0.5070 0.3469 0.0989
416-AH 0.1212 0.3939 0.6061 0.6667 0.7576 0.5533 0.1527 0.2727 0.6364 0.2760 0.5256 0.4826 0.1307 0.1212 0.7576 0.5533 0.1527
417-AH 0.0737 0.1395 0.1895 0.2947 0.3789 0.2027 0.0919 0.1553 0.3053 0.4535 0.1804 0.1574 0.0765 0.0737 0.3789 0.2027 0.0919
418-AH 0.0000 0.5179 0.6429 0.7143 0.7857 0.6014 0.1562 0.1964 0.7857 0.2598 0.4276 0.0003 0.1081 0.2857 0.7857 0.6214 0.1112
419-AH 0.0435 0.4783 0.5217 0.6087 0.6957 0.4937 0.1609 0.1304 0.6522 0.3260 0.4397 0.3221 0.1129 0.3913 0.6957 0.5475 0.0746
420-AH 0.0000 0.2228 0.4348 0.4783 0.5652 0.3689 0.1544 0.2554 0.5652 0.4185 0.2465 0.0003 0.1257 0.0000 0.5652 0.3689 0.1544
421-AH 0.0000 0.4167 0.5000 0.5000 0.8333 0.4597 0.1252 0.0833 0.8333 0.2724 0.3302 0.0003 0.0791 0.3333 0.5833 0.4626 0.0653
422-AH 0.0000 0.0784 0.0882 0.1422 0.2059 0.1022 0.0477 0.0637 0.2059 0.4668 0.0562 0.0002 0.0373 0.0000 0.2059 0.1022 0.0477
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1742 0.1437 0.2000 0.6000 0.8249 0.0125 0.0000 0.1011 0.0000 0.4000 0.1600 0.1221
425-AH 0.0270 0.0811 0.1351 0.2432 0.3514 0.1587 0.1006 0.1622 0.3243 0.6339 0.1284 0.1023 0.0851 0.0270 0.3514 0.1587 0.1006
426-AH 0.0188 0.1502 0.2723 0.3005 0.3427 0.2310 0.0916 0.1502 0.3239 0.3967 0.2037 0.1527 0.0822 0.0188 0.3427 0.2310 0.0916
427-AH 0.0000 0.2500 0.3125 0.5000 0.5000 0.3226 0.1471 0.2500 0.5000 0.4560 0.1649 0.0002 0.1206 0.0000 0.5000 0.3226 0.1471
428-AH 0.0000 0.0909 0.2727 0.3636 0.5455 0.2346 0.1673 0.2727 0.5455 0.7129 0.0614 0.0001 0.1449 0.0000 0.5455 0.2346 0.1673
429-AH 0.0000 0.2203 0.3390 0.4237 0.4915 0.3106 0.1174 0.2034 0.4915 0.3780 0.2176 0.0003 0.1015 0.0000 0.4915 0.3106 0.1174
430-AH 0.0000 0.4839 0.5161 0.5806 0.5806 0.4724 0.1614 0.0968 0.5806 0.3417 0.2357 0.0002 0.0962 0.3871 0.5806 0.5219 0.0520
431-AH 0.0000 0.2125 0.3500 0.4375 0.7500 0.3371 0.1992 0.2250 0.7500 0.5908 0.2037 0.0003 0.1553 0.0000 0.7500 0.3371 0.1992
432-AH 0.0000 0.2083 0.2500 0.2917 0.3750 0.2500 0.0874 0.0833 0.3750 0.3496 0.1355 0.0002 0.0618 0.1667 0.3750 0.2672 0.0584
433-AH 0.4941 0.6608 0.6902 0.7294 0.7451 0.6826 0.0564 0.0686 0.2510 0.0826 0.6801 0.6774 0.0397 0.5608 0.7451 0.6889 0.0450
434-AH 0.3964 0.4865 0.6396 0.7658 0.9189 0.6379 0.1541 0.2793 0.5225 0.2415 0.6197 0.6016 0.1293 0.3964 0.9189 0.6379 0.1541
435-AH 0.3596 0.4934 0.6228 0.6754 0.7193 0.5823 0.1143 0.1820 0.3596 0.1963 0.5700 0.5563 0.0983 0.3596 0.7193 0.5823 0.1143
436-AH 0.0000 0.0769 0.2051 0.3141 0.3846 0.1960 0.1246 0.2372 0.3846 0.6355 0.1060 0.0003 0.1049 0.0000 0.3846 0.1960 0.1246
437-AH 0.2308 0.3891 0.5562 0.6065 0.7041 0.5178 0.1221 0.2175 0.4734 0.2358 0.5016 0.4829 0.1031 0.2308 0.7041 0.5178 0.1221
438-AH 0.0667 0.1000 0.1333 0.2000 0.4333 0.1634 0.0875 0.1000 0.3667 0.5354 0.1435 0.1263 0.0674 0.0667 0.2667 0.1471 0.0621
439-AH 0.0000 0.0545 0.1026 0.1667 0.2436 0.1137 0.0705 0.1122 0.2436 0.6200 0.0536 0.0002 0.0603 0.0000 0.2436 0.1137 0.0705
440-AH 0.0000 0.2222 0.3333 0.3889 0.6111 0.3172 0.1324 0.1667 0.6111 0.4174 0.2155 0.0003 0.0997 0.0000 0.6111 0.3172 0.1324
441-AH 0.0000 0.2222 0.4444 0.5556 0.7778 0.4014 0.2121 0.3333 0.7778 0.5284 0.2522 0.0003 0.1790 0.0000 0.7778 0.4014 0.2121
442-AH 0.2500 0.5000 0.5000 0.5833 0.5833 0.5161 0.0695 0.0833 0.3333 0.1346 0.5104 0.5028 0.0477 0.4167 0.5833 0.5250 0.0497
443-AH 0.1905 0.4107 0.5000 0.5417 0.6190 0.4785 0.0965 0.1310 0.4286 0.2017 0.4666 0.4509 0.0738 0.2857 0.6190 0.4881 0.0817
444-AH 0.1600 0.2800 0.3200 0.3600 0.4800 0.3290 0.0659 0.0800 0.3200 0.2003 0.3221 0.3144 0.0472 0.1600 0.4800 0.3290 0.0659
445-AH 0.0000 0.5000 0.5000 0.7500 0.7500 0.5161 0.2322 0.2500 0.7500 0.4498 0.1895 0.0001 0.1660 0.2500 0.7500 0.5714 0.1647
446-AH 0.0833 0.2500 0.3333 0.4792 0.7500 0.3522 0.1717 0.2292 0.6667 0.4877 0.3039 0.2461 0.1306 0.0833 0.7500 0.3522 0.1717
447-AH 0.6667 0.8333 0.8333 0.8333 1.0000 0.8333 0.0430 0.0000 0.3333 0.0516 0.8322 0.8311 0.0108 0.8333 0.8333 0.8333 0.0000
448-AH 0.0000 0.0000 0.2500 0.7500 0.7500 0.3710 0.3154 0.7500 0.7500 0.8501 0.0152 0.0000 0.2862 0.0000 0.7500 0.3710 0.3154
449-AH 0.1250 0.1719 0.3281 0.3750 0.6094 0.3241 0.1536 0.2031 0.4844 0.4740 0.2888 0.2564 0.1271 0.1250 0.6094 0.3241 0.1536
450-AH 0.0833 0.2042 0.3333 0.4167 0.4833 0.3108 0.1240 0.2125 0.4000 0.3991 0.2782 0.2379 0.1036 0.0833 0.4833 0.3108 0.1240
122
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1667 0.3056 0.3333 0.3889 0.4722 0.3396 0.0785 0.0833 0.3056 0.2311 0.3294 0.3174 0.0579 0.1944 0.4722 0.3515 0.0657
402-AH 0.0000 0.4432 0.5432 0.5979 0.7110 0.4965 0.1714 0.1547 0.7110 0.3452 0.3426 0.0003 0.1298 0.2526 0.7110 0.5376 0.1175
403-AH 0.0000 0.1142 0.1393 0.1941 0.3167 0.1530 0.0711 0.0800 0.3167 0.4647 0.1051 0.0003 0.0548 0.0000 0.2873 0.1475 0.0654
404-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.2258 0.4250 0.0000 1.0000 1.8822 0.0001 0.0000 0.3496 0.0000 0.0000 0.0000 0.0000
405-AH 0.2676 0.3685 0.4286 0.5108 0.5692 0.4269 0.0880 0.1423 0.3016 0.2061 0.4176 0.4079 0.0737 0.2676 0.5692 0.4269 0.0880
406-AH 0.0181 0.1122 0.1905 0.2523 0.4082 0.1913 0.0925 0.1400 0.3900 0.4836 0.1639 0.1248 0.0765 0.0181 0.4082 0.1913 0.0925
407-AH 0.0870 0.4083 0.4329 0.8034 0.8526 0.5245 0.2105 0.3951 0.7656 0.4013 0.4794 0.4192 0.1748 0.0870 0.8526 0.5245 0.2105
408-AH 0.0494 0.1543 0.2623 0.3194 0.5154 0.2414 0.1264 0.1651 0.4660 0.5234 0.1961 0.1435 0.0989 0.0494 0.5154 0.2414 0.1264
409-AH 0.0000 0.3047 0.4460 0.4695 0.5706 0.3897 0.1274 0.1648 0.5706 0.3270 0.2752 0.0003 0.1022 0.2022 0.5706 0.4027 0.1067
410-AH 0.0000 0.5768 0.6763 0.7408 0.7791 0.6449 0.1419 0.1640 0.7791 0.2200 0.4627 0.0003 0.0895 0.5333 0.7791 0.6664 0.0775
411-AH 0.0000 0.0000 0.0000 0.0100 0.1000 0.0155 0.0316 0.0100 0.1000 2.0412 0.0001 0.0000 0.0224 0.0000 0.0100 0.0016 0.0037
412-AH 0.0000 0.0141 0.0412 0.0778 0.3567 0.0660 0.0871 0.0638 0.3567 1.3204 0.0079 0.0000 0.0571 0.0000 0.1468 0.0465 0.0448
413-AH 0.0800 0.2044 0.2533 0.3256 0.4711 0.2741 0.1036 0.1211 0.3911 0.3779 0.2543 0.2324 0.0813 0.0800 0.4711 0.2741 0.1036
414-AH 0.0000 0.4531 0.5625 0.6719 0.8125 0.5484 0.1667 0.2188 0.8125 0.3040 0.3872 0.0003 0.1284 0.3750 0.8125 0.5667 0.1343
415-AH 0.0000 0.2454 0.3630 0.4225 0.5049 0.3390 0.1084 0.1770 0.5049 0.3197 0.2417 0.0003 0.0837 0.0000 0.5049 0.3390 0.1084
416-AH 0.0670 0.3962 0.5473 0.6777 0.7603 0.5368 0.1632 0.2815 0.6933 0.3040 0.5000 0.4248 0.1382 0.0670 0.7603 0.5368 0.1632
417-AH 0.0529 0.1245 0.1890 0.2210 0.3138 0.1755 0.0790 0.0965 0.2609 0.4504 0.1533 0.1274 0.0635 0.0529 0.3138 0.1755 0.0790
418-AH 0.0000 0.6288 0.6939 0.7398 0.8010 0.6407 0.1693 0.1110 0.8010 0.2642 0.4529 0.0003 0.1154 0.4898 0.8010 0.6927 0.0779
419-AH 0.0321 0.3459 0.5123 0.5846 0.7089 0.4556 0.1771 0.2387 0.6767 0.3887 0.3899 0.2570 0.1389 0.0321 0.7089 0.4556 0.1771
420-AH 0.0000 0.1724 0.3710 0.4304 0.5605 0.3300 0.1544 0.2580 0.5605 0.4678 0.2153 0.0003 0.1264 0.0000 0.5605 0.3300 0.1544
421-AH 0.0000 0.3924 0.4722 0.5000 0.8264 0.4462 0.1349 0.1076 0.8264 0.3022 0.3181 0.0003 0.0918 0.2639 0.6319 0.4485 0.0849
422-AH 0.0091 0.0765 0.1052 0.1316 0.2016 0.1012 0.0439 0.0551 0.1924 0.4337 0.0860 0.0585 0.0349 0.0091 0.2016 0.1012 0.0439
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.1600 0.2000 0.6000 0.1497 0.1401 0.2000 0.6000 0.9359 0.0108 0.0000 0.0971 0.0000 0.4400 0.1347 0.1143
425-AH 0.0015 0.0338 0.0723 0.1804 0.2747 0.1065 0.0843 0.1466 0.2732 0.7917 0.0702 0.0257 0.0732 0.0015 0.2747 0.1065 0.0843
426-AH 0.0247 0.2222 0.3830 0.4077 0.4582 0.3208 0.1100 0.1855 0.4335 0.3430 0.2907 0.2206 0.0986 0.0247 0.4582 0.3208 0.1100
427-AH 0.0000 0.1904 0.2305 0.4160 0.5273 0.2792 0.1519 0.2256 0.5273 0.5440 0.1377 0.0002 0.1305 0.0000 0.5273 0.2792 0.1519
428-AH 0.0000 0.0909 0.2231 0.3037 0.4545 0.1999 0.1426 0.2128 0.4545 0.7134 0.0522 0.0001 0.1236 0.0000 0.4545 0.1999 0.1426
429-AH 0.0000 0.1580 0.2881 0.3770 0.4507 0.2725 0.1217 0.2190 0.4507 0.4466 0.1860 0.0003 0.1062 0.0000 0.4507 0.2725 0.1217
430-AH 0.0000 0.4662 0.4912 0.5395 0.6191 0.4568 0.1573 0.0734 0.6191 0.3444 0.2255 0.0002 0.0957 0.3663 0.6191 0.5050 0.0509
431-AH 0.0000 0.1663 0.2650 0.3956 0.8025 0.2890 0.1927 0.2294 0.8025 0.6669 0.1680 0.0003 0.1492 0.0000 0.6600 0.2719 0.1704
432-AH 0.0000 0.1324 0.1632 0.2361 0.3247 0.1777 0.0731 0.1037 0.3247 0.4114 0.0966 0.0002 0.0580 0.0000 0.3247 0.1777 0.0731
433-AH 0.6886 0.8883 0.9262 0.9341 0.9615 0.9098 0.0476 0.0458 0.2729 0.0523 0.9085 0.9069 0.0297 0.8793 0.9615 0.9172 0.0244
434-AH 0.4584 0.6044 0.7853 0.8695 0.9736 0.7412 0.1737 0.2651 0.5152 0.2343 0.7200 0.6975 0.1484 0.4584 0.9736 0.7412 0.1737
435-AH 0.5506 0.6856 0.7631 0.8181 0.8890 0.7481 0.0888 0.1325 0.3384 0.1188 0.7428 0.7371 0.0760 0.5506 0.8890 0.7481 0.0888
436-AH 0.0031 0.1417 0.1708 0.3025 0.3798 0.1899 0.1159 0.1608 0.3767 0.6106 0.1258 0.0385 0.0925 0.0031 0.3798 0.1899 0.1159
437-AH 0.4055 0.4757 0.7085 0.7908 0.8492 0.6525 0.1566 0.3151 0.4437 0.2400 0.6325 0.6115 0.1424 0.4055 0.8492 0.6525 0.1566
438-AH 0.0233 0.0550 0.1100 0.1622 0.3400 0.1140 0.0742 0.1072 0.3167 0.6507 0.0915 0.0714 0.0577 0.0233 0.2744 0.1064 0.0622
439-AH 0.0018 0.0524 0.1159 0.1359 0.1741 0.0946 0.0533 0.0835 0.1723 0.5633 0.0648 0.0213 0.0466 0.0018 0.1741 0.0946 0.0533
440-AH 0.0000 0.1543 0.3056 0.3341 0.6265 0.2710 0.1398 0.1798 0.6265 0.5158 0.1712 0.0003 0.1066 0.0000 0.4722 0.2592 0.1253
441-AH 0.0000 0.1667 0.3457 0.5710 0.6790 0.3628 0.2113 0.4043 0.6790 0.5825 0.2202 0.0003 0.1857 0.0000 0.6790 0.3628 0.2113
442-AH 0.1944 0.4653 0.5069 0.5486 0.6389 0.5031 0.0886 0.0833 0.4444 0.1761 0.4932 0.4791 0.0613 0.3403 0.6389 0.5134 0.0688
443-AH 0.1485 0.3596 0.4790 0.5214 0.6134 0.4412 0.1117 0.1618 0.4649 0.2531 0.4234 0.3999 0.0896 0.1485 0.6134 0.4412 0.1117
444-AH 0.0944 0.2260 0.2496 0.2952 0.4192 0.2639 0.0657 0.0692 0.3248 0.2489 0.2553 0.2448 0.0488 0.1712 0.3648 0.2594 0.0454
445-AH 0.0000 0.3906 0.5000 0.7500 0.7500 0.5020 0.2279 0.3594 0.7500 0.4540 0.1852 0.0001 0.1756 0.0000 0.7500 0.5020 0.2279
446-AH 0.0208 0.1806 0.2986 0.4132 0.7500 0.3013 0.1749 0.2326 0.7292 0.5805 0.2357 0.1466 0.1358 0.0208 0.7500 0.3013 0.1749
447-AH 0.6667 0.8889 0.9444 0.9722 1.0000 0.9256 0.0674 0.0833 0.3333 0.0728 0.9230 0.9200 0.0505 0.8333 1.0000 0.9343 0.0481
448-AH 0.0000 0.0000 0.3125 0.6094 0.9375 0.3548 0.3320 0.6094 0.9375 0.9358 0.0138 0.0000 0.2937 0.0000 0.9375 0.3548 0.3320
449-AH 0.0852 0.1753 0.2896 0.3177 0.6240 0.2938 0.1565 0.1425 0.5388 0.5327 0.2554 0.2211 0.1218 0.0852 0.5273 0.2516 0.1175
450-AH 0.0439 0.1647 0.2914 0.3756 0.4269 0.2744 0.1212 0.2110 0.3831 0.4415 0.2377 0.1889 0.1016 0.0439 0.4269 0.2744 0.1212
123
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9591 0.1584 0.0000 0.6667 0.1651 0.9371 0.8986 0.0764 1.0000 1.0000 1.0000 0.0000
402-AH 0.0034 0.9118 1.0000 1.0000 1.0000 0.9286 0.1949 0.0882 0.9966 0.2098 0.7949 0.0943 0.1059 0.8571 1.0000 0.9737 0.0525
403-AH 0.0192 0.3000 0.5333 1.0000 1.0000 0.6117 0.3372 0.7000 0.9808 0.5512 0.4866 0.2629 0.3006 0.0192 1.0000 0.6117 0.3372
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.8571 1.0000 1.0000 1.0000 1.0000 0.9954 0.0257 0.0000 0.1429 0.0258 0.9950 0.9947 0.0089 1.0000 1.0000 1.0000 0.0000
406-AH 0.1250 0.2557 0.5000 1.0000 1.0000 0.5623 0.3395 0.7443 0.8750 0.6038 0.4584 0.3694 0.3080 0.1250 1.0000 0.5623 0.3395
407-AH 0.6250 0.7625 1.0000 1.0000 1.0000 0.8944 0.1268 0.2375 0.3750 0.1417 0.8851 0.8750 0.1134 0.6250 1.0000 0.8944 0.1268
408-AH 0.3243 0.5000 0.6667 1.0000 1.0000 0.7318 0.2697 0.5000 0.6757 0.3685 0.6805 0.6304 0.2596 0.3243 1.0000 0.7318 0.2697
409-AH 0.1034 0.6091 1.0000 1.0000 1.0000 0.8276 0.2471 0.3909 0.8966 0.2986 0.7682 0.6482 0.2113 0.1034 1.0000 0.8276 0.2471
410-AH 0.0274 1.0000 1.0000 1.0000 1.0000 0.9434 0.1880 0.0000 0.9726 0.1993 0.8645 0.4587 0.0987 1.0000 1.0000 1.0000 0.0000
411-AH 0.0185 0.0714 0.1000 0.1511 0.2500 0.1188 0.0625 0.0797 0.2315 0.5267 0.1038 0.0879 0.0492 0.0185 0.2500 0.1188 0.0625
412-AH 0.0140 0.0620 0.1364 0.2079 1.0000 0.1854 0.1993 0.1459 0.9860 1.0751 0.1238 0.0816 0.1232 0.0140 0.2857 0.1302 0.0798
413-AH 0.2222 0.6250 1.0000 1.0000 1.0000 0.8089 0.2401 0.3750 0.7778 0.2969 0.7623 0.6991 0.2096 0.2222 1.0000 0.8089 0.2401
414-AH 0.0526 1.0000 1.0000 1.0000 1.0000 0.9587 0.1785 0.0000 0.9474 0.1862 0.8976 0.6263 0.0773 1.0000 1.0000 1.0000 0.0000
415-AH 0.0175 0.7083 1.0000 1.0000 1.0000 0.8216 0.3102 0.2917 0.9825 0.3776 0.6895 0.3063 0.2539 0.3000 1.0000 0.8902 0.2346
416-AH 0.2000 0.8000 1.0000 1.0000 1.0000 0.9136 0.1610 0.2000 0.8000 0.1762 0.8875 0.8302 0.1115 0.7619 1.0000 0.9374 0.0931
417-AH 0.1471 0.3290 0.4082 1.0000 1.0000 0.5287 0.3280 0.6710 0.8529 0.6204 0.4295 0.3435 0.2754 0.1471 1.0000 0.5287 0.3280
418-AH 0.0893 0.8000 1.0000 1.0000 1.0000 0.8999 0.1836 0.2000 0.9107 0.2041 0.8538 0.7040 0.1292 0.7500 1.0000 0.9269 0.1071
419-AH 0.1552 0.5000 0.7500 1.0000 1.0000 0.7386 0.2632 0.5000 0.8448 0.3563 0.6774 0.5920 0.2234 0.1552 1.0000 0.7386 0.2632
420-AH 0.0201 0.3167 1.0000 1.0000 1.0000 0.7573 0.3480 0.6833 0.9799 0.4595 0.6117 0.3024 0.3131 0.0201 1.0000 0.7573 0.3480
421-AH 0.0345 1.0000 1.0000 1.0000 1.0000 0.9689 0.1734 0.0000 0.9655 0.1790 0.8971 0.5254 0.0603 1.0000 1.0000 1.0000 0.0000
422-AH 0.0043 0.1842 0.3333 0.5000 1.0000 0.3921 0.3053 0.3158 0.9957 0.7788 0.2511 0.0554 0.2338 0.0043 0.5000 0.2752 0.1541
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0187 0.1219 0.5000 1.0000 1.0000 0.4902 0.3718 0.8781 0.9813 0.7584 0.2906 0.1135 0.3010 0.0187 1.0000 0.4902 0.3718
425-AH 0.0698 0.1187 0.3333 0.5000 1.0000 0.3832 0.2976 0.3813 0.9302 0.7766 0.2806 0.2045 0.2334 0.0698 1.0000 0.3832 0.2976
426-AH 0.3333 0.7500 1.0000 1.0000 1.0000 0.8815 0.1931 0.2500 0.6667 0.2191 0.8543 0.8178 0.1605 0.5000 1.0000 0.8998 0.1669
427-AH 0.0011 0.5000 0.6364 1.0000 1.0000 0.6733 0.3106 0.5000 0.9989 0.4613 0.4429 0.0173 0.2661 0.0011 1.0000 0.6733 0.3106
428-AH 0.0377 0.5000 1.0000 1.0000 1.0000 0.7686 0.3591 0.5000 0.9623 0.4673 0.5849 0.2795 0.3135 0.0377 1.0000 0.7686 0.3591
429-AH 0.0128 0.4792 1.0000 1.0000 1.0000 0.7968 0.3082 0.5208 0.9872 0.3868 0.6659 0.2531 0.2661 0.0128 1.0000 0.7968 0.3082
430-AH 0.0135 1.0000 1.0000 1.0000 1.0000 0.9069 0.2892 0.0000 0.9865 0.3188 0.7064 0.1846 0.1681 1.0000 1.0000 1.0000 0.0000
431-AH 0.0238 0.4351 1.0000 1.0000 1.0000 0.7345 0.3440 0.5649 0.9762 0.4684 0.5913 0.3137 0.3112 0.0238 1.0000 0.7345 0.3440
432-AH 0.0026 0.3357 0.5000 0.7500 1.0000 0.5175 0.2581 0.4143 0.9974 0.4988 0.3638 0.0370 0.2051 0.0026 1.0000 0.5175 0.2581
433-AH 0.6923 0.8708 1.0000 1.0000 1.0000 0.9428 0.0889 0.1292 0.3077 0.0943 0.9384 0.9336 0.0742 0.6923 1.0000 0.9428 0.0889
434-AH 0.8000 1.0000 1.0000 1.0000 1.0000 0.9935 0.0359 0.0000 0.2000 0.0362 0.9928 0.9920 0.0125 1.0000 1.0000 1.0000 0.0000
435-AH 0.5758 0.9238 1.0000 1.0000 1.0000 0.9296 0.1283 0.0762 0.4242 0.1380 0.9195 0.9078 0.1014 0.8485 1.0000 0.9886 0.0350
436-AH 0.0070 0.4712 0.8000 1.0000 1.0000 0.6917 0.3495 0.5288 0.9930 0.5053 0.4695 0.0996 0.2925 0.0070 1.0000 0.6917 0.3495
437-AH 0.4444 1.0000 1.0000 1.0000 1.0000 0.9477 0.1438 0.0000 0.5556 0.1517 0.9331 0.9127 0.0911 1.0000 1.0000 1.0000 0.0000
438-AH 0.0714 0.1719 0.5000 0.5000 1.0000 0.4332 0.2995 0.3281 0.9286 0.6914 0.3305 0.2405 0.2348 0.0714 0.5714 0.3242 0.1762
439-AH 0.0036 0.1250 0.1905 0.2964 0.5000 0.2056 0.1210 0.1714 0.4964 0.5888 0.1519 0.0583 0.0992 0.0036 0.5000 0.2056 0.1210
440-AH 0.0272 0.4167 0.8000 1.0000 1.0000 0.7242 0.3269 0.5833 0.9728 0.4514 0.5916 0.3336 0.2725 0.0272 1.0000 0.7242 0.3269
441-AH 0.0769 0.6667 1.0000 1.0000 1.0000 0.8280 0.2584 0.3333 0.9231 0.3120 0.7550 0.5914 0.2127 0.2500 1.0000 0.8530 0.2212
442-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9839 0.0898 0.0000 0.5000 0.0913 0.9779 0.9688 0.0312 1.0000 1.0000 1.0000 0.0000
443-AH 0.4444 0.7828 1.0000 1.0000 1.0000 0.8860 0.1857 0.2172 0.5556 0.2096 0.8621 0.8324 0.1544 0.4615 1.0000 0.9007 0.1695
444-AH 0.3636 0.8333 1.0000 1.0000 1.0000 0.8951 0.1839 0.1667 0.6364 0.2055 0.8709 0.8388 0.1489 0.5833 1.0000 0.9270 0.1398
445-AH 0.0018 1.0000 1.0000 1.0000 1.0000 0.8967 0.2907 0.0000 0.9982 0.3242 0.6265 0.0347 0.1800 1.0000 1.0000 1.0000 0.0000
446-AH 0.1111 1.0000 1.0000 1.0000 1.0000 0.8459 0.3036 0.0000 0.8889 0.3589 0.7375 0.5423 0.2387 1.0000 1.0000 1.0000 0.0000
447-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
448-AH 0.1000 0.2292 0.6000 1.0000 1.0000 0.6042 0.3670 0.7708 0.9000 0.6075 0.4605 0.3190 0.3347 0.1000 1.0000 0.6042 0.3670
449-AH 0.3333 0.8000 1.0000 1.0000 1.0000 0.8901 0.1831 0.2000 0.6667 0.2057 0.8652 0.8304 0.1488 0.6667 1.0000 0.9247 0.1285
450-AH 0.1250 1.0000 1.0000 1.0000 1.0000 0.8562 0.2855 0.0000 0.8750 0.3334 0.7701 0.6202 0.2227 1.0000 1.0000 1.0000 0.0000
124
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.3333 1.0000 1.0000 1.0000 1.0000 0.9591 0.1584 0.0000 0.6667 0.1651 0.9371 0.8986 0.0764 1.0000 1.0000 1.0000 0.0000
402-AH 0.0000 0.8750 1.0000 1.0000 1.0000 0.8877 0.2289 0.1250 1.0000 0.2579 0.6215 0.0003 0.1449 0.8571 1.0000 0.9672 0.0567
403-AH 0.0192 0.1888 0.3214 0.4427 0.7778 0.3313 0.1874 0.2539 0.7586 0.5655 0.2662 0.1658 0.1519 0.0192 0.7778 0.3313 0.1874
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.5556 0.7500 1.0000 1.0000 1.0000 0.8695 0.1448 0.2500 0.4444 0.1666 0.8571 0.8439 0.1347 0.5556 1.0000 0.8695 0.1448
406-AH 0.1250 0.2413 0.3333 0.6563 1.0000 0.4645 0.2732 0.4150 0.8750 0.5881 0.3940 0.3360 0.2294 0.1250 1.0000 0.4645 0.2732
407-AH 0.1250 0.7569 0.8333 0.8668 1.0000 0.8127 0.1592 0.1098 0.8750 0.1959 0.7810 0.6987 0.0925 0.6250 1.0000 0.8356 0.0968
408-AH 0.0369 0.3330 0.5000 0.6429 1.0000 0.4466 0.2400 0.3099 0.9631 0.5374 0.3359 0.1891 0.1816 0.0369 1.0000 0.4466 0.2400
409-AH 0.1034 0.5179 0.6667 0.8000 1.0000 0.6945 0.2217 0.2821 0.8966 0.3192 0.6467 0.5625 0.1731 0.1034 1.0000 0.6945 0.2217
410-AH 0.0248 0.7254 0.9000 1.0000 1.0000 0.8483 0.1993 0.2746 0.9752 0.2349 0.7721 0.4108 0.1444 0.6667 1.0000 0.8758 0.1301
411-AH 0.0185 0.0714 0.1000 0.1511 0.2500 0.1188 0.0625 0.0797 0.2315 0.5267 0.1038 0.0879 0.0492 0.0185 0.2500 0.1188 0.0625
412-AH 0.0097 0.0382 0.1333 0.2000 0.6000 0.1490 0.1350 0.1618 0.5903 0.9056 0.0946 0.0534 0.1010 0.0097 0.4000 0.1340 0.1077
413-AH 0.2222 0.5000 0.6667 0.9375 1.0000 0.6827 0.2281 0.4375 0.7778 0.3341 0.6419 0.5961 0.1781 0.2222 1.0000 0.6827 0.2281
414-AH 0.0526 1.0000 1.0000 1.0000 1.0000 0.9587 0.1785 0.0000 0.9474 0.1862 0.8976 0.6263 0.0773 1.0000 1.0000 1.0000 0.0000
415-AH 0.0120 0.4588 0.5882 0.6787 1.0000 0.5775 0.2566 0.2198 0.9880 0.4442 0.4822 0.2143 0.1924 0.2011 1.0000 0.5964 0.2381
416-AH 0.1333 0.7692 0.8000 0.8810 1.0000 0.8087 0.1541 0.1117 0.8667 0.1905 0.7794 0.7048 0.0868 0.7143 1.0000 0.8313 0.0912
417-AH 0.0498 0.1980 0.2703 0.3269 0.4615 0.2552 0.1218 0.1290 0.4118 0.4773 0.2094 0.1494 0.0959 0.0498 0.4615 0.2552 0.1218
418-AH 0.0893 0.7500 0.8000 0.9643 1.0000 0.8121 0.1704 0.2143 0.9107 0.2098 0.7723 0.6511 0.1013 0.6667 1.0000 0.8362 0.1068
419-AH 0.1552 0.5000 0.6667 0.8333 1.0000 0.6713 0.2193 0.3333 0.8448 0.3267 0.6254 0.5599 0.1737 0.1552 1.0000 0.6713 0.2193
420-AH 0.0196 0.3167 0.8333 0.8889 1.0000 0.6647 0.3201 0.5722 0.9804 0.4816 0.5299 0.2700 0.2791 0.0196 1.0000 0.6647 0.3201
421-AH 0.0345 1.0000 1.0000 1.0000 1.0000 0.9689 0.1734 0.0000 0.9655 0.1790 0.8971 0.5254 0.0603 1.0000 1.0000 1.0000 0.0000
422-AH 0.0000 0.0748 0.0882 0.2043 0.4194 0.1333 0.0957 0.1294 0.4194 0.7178 0.0652 0.0002 0.0785 0.0000 0.3061 0.1238 0.0810
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0187 0.1219 0.5000 1.0000 1.0000 0.4902 0.3718 0.8781 0.9813 0.7584 0.2906 0.1135 0.3010 0.0187 1.0000 0.4902 0.3718
425-AH 0.0690 0.0967 0.1705 0.3893 0.6250 0.2415 0.1652 0.2926 0.5560 0.6842 0.1921 0.1558 0.1433 0.0690 0.6250 0.2415 0.1652
426-AH 0.0000 0.3329 0.3710 0.5279 0.6389 0.4040 0.1568 0.1950 0.6389 0.3881 0.2721 0.0003 0.1219 0.0610 0.6389 0.4174 0.1400
427-AH 0.0000 0.4464 0.6364 0.9500 1.0000 0.6159 0.2951 0.5036 1.0000 0.4791 0.2981 0.0002 0.2365 0.0000 1.0000 0.6159 0.2951
428-AH 0.0312 0.0464 0.4286 0.9167 1.0000 0.4648 0.3878 0.8703 0.9688 0.8343 0.2462 0.1027 0.3437 0.0312 1.0000 0.4648 0.3878
429-AH 0.0128 0.3813 0.7143 0.7778 1.0000 0.6102 0.2414 0.3965 0.9872 0.3956 0.5177 0.2306 0.2020 0.0128 1.0000 0.6102 0.2414
430-AH 0.0135 1.0000 1.0000 1.0000 1.0000 0.9023 0.2918 0.0000 0.9865 0.3234 0.6925 0.1764 0.1702 1.0000 1.0000 1.0000 0.0000
431-AH 0.0164 0.3750 0.6667 1.0000 1.0000 0.6200 0.3492 0.6250 0.9836 0.5632 0.4210 0.1366 0.2972 0.0164 1.0000 0.6200 0.3492
432-AH 0.0000 0.3111 0.3846 0.5296 0.8000 0.4218 0.2112 0.2185 0.8000 0.5008 0.2113 0.0002 0.1611 0.0000 0.8000 0.4218 0.2112
433-AH 0.6212 0.8288 0.9265 0.9481 1.0000 0.8924 0.0823 0.1194 0.3788 0.0922 0.8884 0.8839 0.0661 0.7677 1.0000 0.9015 0.0662
434-AH 0.5119 0.5753 0.9500 1.0000 1.0000 0.8268 0.1990 0.4247 0.4881 0.2407 0.8005 0.7719 0.1790 0.5119 1.0000 0.8268 0.1990
435-AH 0.5758 0.7915 0.8788 0.9496 1.0000 0.8586 0.1115 0.1581 0.4242 0.1299 0.8510 0.8428 0.0892 0.5758 1.0000 0.8586 0.1115
436-AH 0.0000 0.0671 0.3095 0.4875 0.8000 0.3072 0.2347 0.4204 0.8000 0.7640 0.0729 0.0001 0.1867 0.0000 0.8000 0.3072 0.2347
437-AH 0.2667 0.5524 0.8095 0.8853 1.0000 0.7355 0.1850 0.3330 0.7333 0.2515 0.7087 0.6761 0.1632 0.2667 1.0000 0.7355 0.1850
438-AH 0.0427 0.1667 0.2424 0.3125 0.5714 0.2432 0.1302 0.1458 0.5287 0.5351 0.2029 0.1567 0.1053 0.0427 0.4286 0.2323 0.1170
439-AH 0.0000 0.0733 0.1194 0.2193 0.4286 0.1513 0.1016 0.1460 0.4286 0.6716 0.0724 0.0002 0.0826 0.0000 0.4286 0.1513 0.1016
440-AH 0.0272 0.4167 0.8000 1.0000 1.0000 0.7133 0.3321 0.5833 0.9728 0.4655 0.5740 0.3214 0.2751 0.0272 1.0000 0.7133 0.3321
441-AH 0.0769 0.6667 1.0000 1.0000 1.0000 0.8280 0.2584 0.3333 0.9231 0.3120 0.7550 0.5914 0.2127 0.2500 1.0000 0.8530 0.2212
442-AH 0.5000 1.0000 1.0000 1.0000 1.0000 0.9839 0.0898 0.0000 0.5000 0.0913 0.9779 0.9688 0.0312 1.0000 1.0000 1.0000 0.0000
443-AH 0.2857 0.6667 0.7778 1.0000 1.0000 0.7795 0.1936 0.3333 0.7143 0.2484 0.7514 0.7165 0.1542 0.2857 1.0000 0.7795 0.1936
444-AH 0.2222 0.5000 0.6250 0.7500 1.0000 0.6467 0.1955 0.2500 0.7778 0.3024 0.6149 0.5787 0.1607 0.2222 1.0000 0.6467 0.1955
445-AH 0.0018 1.0000 1.0000 1.0000 1.0000 0.8967 0.2907 0.0000 0.9982 0.3242 0.6265 0.0347 0.1800 1.0000 1.0000 1.0000 0.0000
446-AH 0.0870 0.3125 0.5714 1.0000 1.0000 0.6160 0.3232 0.6875 0.9130 0.5247 0.5081 0.3805 0.2823 0.0870 1.0000 0.6160 0.3232
447-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
448-AH 0.1000 0.2292 0.6000 1.0000 1.0000 0.6042 0.3670 0.7708 0.9000 0.6075 0.4605 0.3190 0.3347 0.1000 1.0000 0.6042 0.3670
449-AH 0.1837 0.3165 0.6667 0.8000 1.0000 0.5867 0.2616 0.4835 0.8163 0.4459 0.5188 0.4460 0.2253 0.1837 1.0000 0.5867 0.2616
450-AH 0.0886 0.3672 0.5333 0.7579 1.0000 0.5465 0.2551 0.3907 0.9114 0.4668 0.4700 0.3684 0.2053 0.0886 1.0000 0.5465 0.2551
125
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.2000 0.5250 1.0000 1.0000 1.0000 0.7751 0.2609 0.4750 0.8000 0.3366 0.7202 0.6503 0.2321 0.2000 1.0000 0.7751 0.2609
402-AH 0.0000 0.8139 0.8750 0.9833 1.0000 0.8043 0.2550 0.1694 1.0000 0.3170 0.5441 0.0003 0.1717 0.6842 1.0000 0.8924 0.0934
403-AH 0.0000 0.1489 0.1972 0.3239 0.5172 0.2281 0.1343 0.1750 0.5172 0.5886 0.1464 0.0003 0.1048 0.0000 0.5172 0.2281 0.1343
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.4667 0.5875 0.7000 0.8571 1.0000 0.7186 0.1666 0.2696 0.5333 0.2318 0.6998 0.6811 0.1397 0.4667 1.0000 0.7186 0.1666
406-AH 0.0113 0.1694 0.3125 0.5060 0.8333 0.3350 0.2260 0.3366 0.8220 0.6745 0.2469 0.1330 0.1765 0.0113 0.8333 0.3350 0.2260
407-AH 0.0833 0.7175 0.8182 0.8421 1.0000 0.7770 0.1514 0.1246 0.9167 0.1949 0.7402 0.6216 0.0898 0.6250 1.0000 0.8001 0.0811
408-AH 0.0369 0.3330 0.4444 0.4797 0.8333 0.3980 0.2039 0.1467 0.7964 0.5123 0.3079 0.1835 0.1475 0.3077 0.6667 0.4508 0.0766
409-AH 0.1034 0.5000 0.5714 0.6667 1.0000 0.5891 0.1739 0.1667 0.8966 0.2952 0.5547 0.4957 0.1273 0.3333 0.8000 0.5917 0.1339
410-AH 0.0248 0.6961 0.8947 0.9427 1.0000 0.8180 0.1900 0.2466 0.9752 0.2323 0.7460 0.4042 0.1353 0.6667 1.0000 0.8445 0.1221
411-AH 0.0066 0.0685 0.0877 0.1511 0.2500 0.1155 0.0650 0.0826 0.2434 0.5627 0.0967 0.0666 0.0517 0.0066 0.2500 0.1155 0.0650
412-AH 0.0085 0.0270 0.1034 0.1768 0.5000 0.1240 0.1187 0.1498 0.4915 0.9571 0.0742 0.0406 0.0902 0.0085 0.4000 0.1115 0.0977
413-AH 0.0410 0.3813 0.5000 0.6000 0.7500 0.4927 0.1684 0.2188 0.7090 0.3417 0.4474 0.3450 0.1341 0.1875 0.7500 0.5078 0.1485
414-AH 0.0526 1.0000 1.0000 1.0000 1.0000 0.9587 0.1785 0.0000 0.9474 0.1862 0.8976 0.6263 0.0773 1.0000 1.0000 1.0000 0.0000
415-AH 0.0000 0.3096 0.4762 0.5646 0.8333 0.4477 0.1906 0.2550 0.8333 0.4257 0.3006 0.0003 0.1470 0.0000 0.8333 0.4477 0.1906
416-AH 0.1321 0.7530 0.8000 0.8712 1.0000 0.7877 0.1550 0.1182 0.8679 0.1967 0.7584 0.6865 0.0892 0.5833 1.0000 0.8096 0.0976
417-AH 0.0256 0.0458 0.1961 0.3236 0.4565 0.2048 0.1348 0.2778 0.4309 0.6580 0.1420 0.0820 0.1120 0.0256 0.4565 0.2048 0.1348
418-AH 0.0893 0.7500 0.8000 0.8000 0.8571 0.7599 0.1314 0.0500 0.7679 0.1729 0.7283 0.6242 0.0606 0.7000 0.8571 0.7862 0.0374
419-AH 0.0972 0.5000 0.6667 0.7644 0.8889 0.6198 0.2119 0.2644 0.7917 0.3418 0.5644 0.4717 0.1684 0.1552 0.8889 0.6372 0.1916
420-AH 0.0188 0.2117 0.6875 0.7603 1.0000 0.5550 0.3062 0.5486 0.9812 0.5517 0.4090 0.2053 0.2620 0.0188 1.0000 0.5550 0.3062
421-AH 0.0163 1.0000 1.0000 1.0000 1.0000 0.9236 0.2190 0.0000 0.9837 0.2371 0.8240 0.3292 0.1331 1.0000 1.0000 1.0000 0.0000
422-AH 0.0000 0.0542 0.0682 0.1104 0.2211 0.0791 0.0487 0.0562 0.2211 0.6151 0.0420 0.0002 0.0362 0.0000 0.1694 0.0744 0.0416
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0187 0.1219 0.5000 1.0000 1.0000 0.4902 0.3718 0.8781 0.9813 0.7584 0.2906 0.1135 0.3010 0.0187 1.0000 0.4902 0.3718
425-AH 0.0284 0.0955 0.1609 0.2778 0.5333 0.2001 0.1288 0.1823 0.5050 0.6439 0.1634 0.1302 0.1056 0.0284 0.5333 0.2001 0.1288
426-AH 0.0000 0.0838 0.3544 0.4000 0.4639 0.2656 0.1589 0.3162 0.4639 0.5984 0.1583 0.0003 0.1483 0.0000 0.4639 0.2656 0.1589
427-AH 0.0000 0.3019 0.3636 0.7024 1.0000 0.4889 0.2883 0.4005 1.0000 0.5897 0.2313 0.0002 0.2444 0.0000 1.0000 0.4889 0.2883
428-AH 0.0092 0.0343 0.4000 0.6000 1.0000 0.3675 0.3237 0.5657 0.9908 0.8808 0.1779 0.0652 0.2879 0.0092 1.0000 0.3675 0.3237
429-AH 0.0000 0.2430 0.4412 0.6429 0.8125 0.4286 0.2111 0.3998 0.8125 0.4926 0.2814 0.0003 0.1823 0.0000 0.8125 0.4286 0.2111
430-AH 0.0135 0.8917 1.0000 1.0000 1.0000 0.8825 0.2879 0.1083 0.9865 0.3262 0.6782 0.1757 0.1655 0.8824 1.0000 0.9741 0.0465
431-AH 0.0164 0.2976 0.4000 0.6299 1.0000 0.4535 0.2730 0.3323 0.9836 0.6019 0.3120 0.1216 0.2232 0.0164 1.0000 0.4535 0.2730
432-AH 0.0000 0.3111 0.3846 0.4420 0.7143 0.3665 0.1374 0.1309 0.7143 0.3748 0.1929 0.0002 0.0928 0.2439 0.5556 0.3803 0.0796
433-AH 0.5603 0.8149 0.9048 0.9385 0.9672 0.8783 0.0841 0.1235 0.4069 0.0958 0.8737 0.8684 0.0634 0.7677 0.9672 0.8889 0.0610
434-AH 0.5119 0.5558 0.9286 0.9691 1.0000 0.8121 0.1967 0.4133 0.4881 0.2422 0.7861 0.7579 0.1758 0.5119 1.0000 0.8121 0.1967
435-AH 0.5517 0.7367 0.8571 0.9137 0.9778 0.8367 0.1087 0.1769 0.4261 0.1299 0.8292 0.8212 0.0875 0.5517 0.9778 0.8367 0.1087
436-AH 0.0000 0.0473 0.2365 0.3984 0.5484 0.2339 0.1767 0.3511 0.5484 0.7556 0.0438 0.0001 0.1457 0.0000 0.5484 0.2339 0.1767
437-AH 0.2667 0.5471 0.7544 0.8671 0.9250 0.7105 0.1755 0.3200 0.6583 0.2470 0.6858 0.6560 0.1554 0.2667 0.9250 0.7105 0.1755
438-AH 0.0400 0.1514 0.1967 0.2768 0.5000 0.2043 0.1151 0.1253 0.4600 0.5633 0.1645 0.1193 0.0867 0.0400 0.4286 0.1945 0.1029
439-AH 0.0000 0.0564 0.0799 0.1684 0.2909 0.1159 0.0778 0.1121 0.2909 0.6711 0.0554 0.0002 0.0678 0.0000 0.2909 0.1159 0.0778
440-AH 0.0272 0.2933 0.6250 0.8250 1.0000 0.5958 0.3012 0.5317 0.9728 0.5056 0.4800 0.2907 0.2574 0.0272 1.0000 0.5958 0.3012
441-AH 0.0658 0.3143 0.6667 1.0000 1.0000 0.6530 0.3392 0.6857 0.9342 0.5195 0.5284 0.3730 0.2993 0.0658 1.0000 0.6530 0.3392
442-AH 0.2727 1.0000 1.0000 1.0000 1.0000 0.9523 0.1603 0.0000 0.7273 0.1683 0.9291 0.8857 0.0861 1.0000 1.0000 1.0000 0.0000
443-AH 0.2062 0.6389 0.7333 0.9068 1.0000 0.7410 0.1980 0.2679 0.7938 0.2671 0.7071 0.6588 0.1492 0.3429 1.0000 0.7589 0.1742
444-AH 0.2222 0.3958 0.5000 0.6250 0.8571 0.5244 0.1733 0.2292 0.6349 0.3304 0.4964 0.4687 0.1441 0.2222 0.8571 0.5244 0.1733
445-AH 0.0018 1.0000 1.0000 1.0000 1.0000 0.8967 0.2907 0.0000 0.9982 0.3242 0.6265 0.0347 0.1800 1.0000 1.0000 1.0000 0.0000
446-AH 0.0750 0.3125 0.5000 0.8250 1.0000 0.5589 0.3041 0.5125 0.9250 0.5441 0.4597 0.3461 0.2577 0.0750 1.0000 0.5589 0.3041
447-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9808 0.0509 0.0000 0.1667 0.0518 0.9794 0.9779 0.0334 1.0000 1.0000 1.0000 0.0000
448-AH 0.1000 0.2292 0.6000 1.0000 1.0000 0.6042 0.3670 0.7708 0.9000 0.6075 0.4605 0.3190 0.3347 0.1000 1.0000 0.6042 0.3670
449-AH 0.0623 0.1857 0.4828 0.6917 0.9375 0.4739 0.2792 0.5060 0.8752 0.5891 0.3728 0.2696 0.2478 0.0623 0.9375 0.4739 0.2792
450-AH 0.0350 0.2180 0.4839 0.6150 0.8000 0.4244 0.2298 0.3970 0.7650 0.5416 0.3270 0.2057 0.1983 0.0350 0.8000 0.4244 0.2298
126
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.2000 0.5250 1.0000 1.0000 1.0000 0.7751 0.2609 0.4750 0.8000 0.3366 0.7202 0.6503 0.2321 0.2000 1.0000 0.7751 0.2609
402-AH 0.0000 0.6159 0.7273 0.8000 0.9524 0.6607 0.2486 0.1841 0.9524 0.3762 0.4368 0.0003 0.1838 0.3774 0.9524 0.7534 0.1264
403-AH 0.0000 0.1115 0.1382 0.2051 0.4314 0.1609 0.0949 0.0935 0.4314 0.5899 0.0833 0.0002 0.0710 0.0000 0.3134 0.1447 0.0731
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0988 0.5000 0.6429 0.7652 1.0000 0.6400 0.1760 0.2652 0.9012 0.2750 0.6046 0.5346 0.1332 0.4667 1.0000 0.6580 0.1470
406-AH 0.0113 0.0934 0.2857 0.3333 0.5833 0.2574 0.1608 0.2399 0.5720 0.6244 0.1981 0.1190 0.1325 0.0113 0.5833 0.2574 0.1608
407-AH 0.0640 0.7000 0.7500 0.8333 0.9286 0.7250 0.1710 0.1333 0.8646 0.2358 0.6805 0.5433 0.1136 0.5714 0.9286 0.7679 0.0949
408-AH 0.0335 0.3330 0.4146 0.4667 0.6429 0.3541 0.1709 0.1337 0.6093 0.4827 0.2635 0.1369 0.1280 0.3077 0.6429 0.4304 0.0718
409-AH 0.1034 0.4628 0.5385 0.5692 1.0000 0.5120 0.1440 0.1064 0.8966 0.2813 0.4866 0.4442 0.0906 0.3333 0.6364 0.5248 0.0687
410-AH 0.0233 0.6961 0.8462 0.9403 1.0000 0.8072 0.1890 0.2442 0.9767 0.2342 0.7346 0.3884 0.1324 0.5862 1.0000 0.8334 0.1227
411-AH 0.0000 0.0638 0.0714 0.1008 0.2500 0.0870 0.0448 0.0370 0.2500 0.5151 0.0620 0.0003 0.0304 0.0377 0.1538 0.0814 0.0265
412-AH 0.0000 0.0146 0.0657 0.1562 0.5000 0.1019 0.1130 0.1416 0.5000 1.1085 0.0361 0.0002 0.0819 0.0000 0.1818 0.0779 0.0652
413-AH 0.0233 0.2755 0.3846 0.5530 0.7273 0.4140 0.1925 0.2776 0.7040 0.4651 0.3464 0.2157 0.1606 0.0233 0.7273 0.4140 0.1925
414-AH 0.0184 0.6667 1.0000 1.0000 1.0000 0.8259 0.2539 0.3333 0.9816 0.3074 0.7283 0.3357 0.2135 0.5000 1.0000 0.8528 0.2084
415-AH 0.0000 0.2516 0.4182 0.5052 0.7586 0.3963 0.1673 0.2536 0.7586 0.4222 0.2659 0.0003 0.1290 0.0000 0.7586 0.3963 0.1673
416-AH 0.0862 0.6875 0.7333 0.7849 0.9167 0.7169 0.1525 0.0974 0.8305 0.2127 0.6823 0.5842 0.0918 0.6250 0.9167 0.7549 0.0780
417-AH 0.0000 0.0107 0.1374 0.2974 0.3889 0.1594 0.1330 0.2867 0.3889 0.8342 0.0147 0.0000 0.1137 0.0000 0.3889 0.1594 0.1330
418-AH 0.0893 0.6667 0.7143 0.7778 0.8571 0.6983 0.1648 0.1111 0.7679 0.2361 0.6553 0.5490 0.0964 0.6250 0.8571 0.7372 0.0682
419-AH 0.0972 0.5000 0.6667 0.7390 0.8889 0.6033 0.2021 0.2390 0.7917 0.3351 0.5516 0.4646 0.1593 0.1552 0.8889 0.6201 0.1820
420-AH 0.0149 0.1514 0.5385 0.7000 0.8947 0.4845 0.2761 0.5486 0.8798 0.5700 0.3463 0.1638 0.2337 0.0149 0.8947 0.4845 0.2761
421-AH 0.0163 0.8000 1.0000 1.0000 1.0000 0.8373 0.2511 0.2000 0.9837 0.2998 0.7344 0.3121 0.1902 0.5714 1.0000 0.9293 0.1201
422-AH 0.0000 0.0387 0.0500 0.0636 0.1111 0.0456 0.0281 0.0249 0.1111 0.6163 0.0103 0.0001 0.0205 0.0380 0.0975 0.0543 0.0150
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0153 0.0483 0.0833 0.2612 1.0000 0.1876 0.2618 0.2129 0.9847 1.3960 0.0929 0.0545 0.1836 0.0153 0.4000 0.1124 0.1137
425-AH 0.0245 0.0955 0.1566 0.2736 0.3871 0.1805 0.1002 0.1780 0.3626 0.5550 0.1527 0.1231 0.0841 0.0245 0.3871 0.1805 0.1002
426-AH 0.0000 0.0659 0.2609 0.3114 0.4036 0.2023 0.1386 0.2455 0.4036 0.6848 0.0531 0.0001 0.1283 0.0000 0.4036 0.2023 0.1386
427-AH 0.0000 0.2956 0.3478 0.6591 0.7778 0.4342 0.2244 0.3635 0.7778 0.5168 0.2131 0.0002 0.1896 0.0000 0.7778 0.4342 0.2244
428-AH 0.0092 0.0339 0.2500 0.4000 1.0000 0.2544 0.2533 0.3661 0.9908 0.9957 0.1255 0.0555 0.2048 0.0092 0.7143 0.2295 0.2158
429-AH 0.0000 0.1805 0.3667 0.5289 0.6923 0.3580 0.2006 0.3485 0.6923 0.5602 0.2298 0.0003 0.1750 0.0000 0.6923 0.3580 0.2006
430-AH 0.0135 0.8571 0.9091 1.0000 1.0000 0.8347 0.2801 0.1429 0.9865 0.3355 0.6429 0.1739 0.1697 0.8462 1.0000 0.9322 0.0612
431-AH 0.0164 0.2434 0.4000 0.6188 0.8125 0.4104 0.2536 0.3754 0.7961 0.6179 0.2813 0.1156 0.2092 0.0164 0.8125 0.4104 0.2536
432-AH 0.0000 0.3060 0.3143 0.3846 0.4211 0.3152 0.0948 0.0786 0.4211 0.3009 0.1706 0.0002 0.0558 0.2439 0.4211 0.3370 0.0453
433-AH 0.5603 0.8059 0.8660 0.9067 0.9239 0.8442 0.0729 0.1008 0.3636 0.0863 0.8407 0.8366 0.0541 0.7624 0.9239 0.8536 0.0512
434-AH 0.4928 0.5385 0.9024 0.9666 1.0000 0.7984 0.1986 0.4281 0.5072 0.2487 0.7714 0.7423 0.1756 0.4928 1.0000 0.7984 0.1986
435-AH 0.3774 0.7059 0.7755 0.9000 0.9778 0.7741 0.1421 0.1941 0.6004 0.1836 0.7594 0.7419 0.1116 0.5217 0.9778 0.7873 0.1236
436-AH 0.0000 0.0293 0.2286 0.3156 0.4364 0.1884 0.1482 0.2863 0.4364 0.7866 0.0348 0.0001 0.1305 0.0000 0.4364 0.1884 0.1482
437-AH 0.2667 0.5061 0.7500 0.8183 0.9000 0.6702 0.1698 0.3122 0.6333 0.2533 0.6461 0.6183 0.1501 0.2667 0.9000 0.6702 0.1698
438-AH 0.0390 0.1134 0.1967 0.2689 0.5000 0.1913 0.1090 0.1555 0.4610 0.5696 0.1540 0.1124 0.0816 0.0390 0.5000 0.1913 0.1090
439-AH 0.0000 0.0419 0.0799 0.1279 0.1832 0.0852 0.0563 0.0860 0.1832 0.6602 0.0208 0.0001 0.0484 0.0000 0.1832 0.0852 0.0563
440-AH 0.0221 0.1964 0.4000 0.5929 0.8750 0.4061 0.2092 0.3965 0.8529 0.5153 0.3324 0.2133 0.1675 0.0221 0.8750 0.4061 0.2092
441-AH 0.0635 0.1648 0.6000 1.0000 1.0000 0.5832 0.3674 0.8352 0.9365 0.6300 0.4148 0.2480 0.3274 0.0635 1.0000 0.5832 0.3674
442-AH 0.2222 1.0000 1.0000 1.0000 1.0000 0.9391 0.1794 0.0000 0.7778 0.1910 0.9087 0.8493 0.1061 1.0000 1.0000 1.0000 0.0000
443-AH 0.2062 0.6163 0.6842 0.7936 0.8824 0.6592 0.1748 0.1773 0.6762 0.2651 0.6289 0.5876 0.1297 0.3864 0.8824 0.6991 0.1284
444-AH 0.2000 0.3333 0.3750 0.4211 0.6923 0.3883 0.1082 0.0877 0.4923 0.2787 0.3757 0.3644 0.0756 0.2857 0.4737 0.3653 0.0555
445-AH 0.0000 0.5417 0.7500 1.0000 1.0000 0.7217 0.3349 0.4583 1.0000 0.4640 0.3241 0.0002 0.2712 0.0000 1.0000 0.7217 0.3349
446-AH 0.0581 0.3125 0.5000 0.5714 0.8889 0.4556 0.2257 0.2589 0.8307 0.4954 0.3852 0.2949 0.1851 0.0581 0.8889 0.4556 0.2257
447-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9808 0.0509 0.0000 0.1667 0.0518 0.9794 0.9779 0.0334 1.0000 1.0000 1.0000 0.0000
448-AH 0.0577 0.1419 0.4000 0.7500 1.0000 0.4999 0.3631 0.6081 0.9423 0.7263 0.3315 0.1892 0.3291 0.0577 1.0000 0.4999 0.3631
449-AH 0.0560 0.1124 0.3621 0.5675 0.9091 0.3821 0.2728 0.4551 0.8531 0.7140 0.2722 0.1793 0.2315 0.0560 0.9091 0.3821 0.2728
450-AH 0.0000 0.1542 0.3673 0.5863 0.6250 0.3639 0.2228 0.4322 0.6250 0.6123 0.1184 0.0001 0.1937 0.0000 0.6250 0.3639 0.2228
127
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1154 0.1792 0.3333 0.5000 0.7500 0.3483 0.1899 0.3208 0.6346 0.5453 0.2967 0.2493 0.1579 0.1154 0.7500 0.3483 0.1899
402-AH 0.0000 0.5150 0.6667 0.7518 0.8929 0.5754 0.2477 0.2368 0.8929 0.4305 0.3672 0.0003 0.1960 0.1953 0.8929 0.6308 0.1874
403-AH 0.0000 0.0599 0.1053 0.1390 0.2952 0.1145 0.0735 0.0792 0.2952 0.6414 0.0579 0.0002 0.0547 0.0000 0.2214 0.1024 0.0584
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0826 0.4622 0.5625 0.6250 0.7143 0.5039 0.1757 0.1628 0.6317 0.3487 0.4587 0.3896 0.1402 0.2245 0.7143 0.5285 0.1519
406-AH 0.0094 0.0837 0.1579 0.2617 0.4762 0.1754 0.1074 0.1779 0.4668 0.6124 0.1403 0.0924 0.0913 0.0094 0.4762 0.1754 0.1074
407-AH 0.0433 0.5229 0.6250 0.8250 0.9286 0.6229 0.2250 0.3021 0.8853 0.3612 0.5532 0.3992 0.1681 0.2041 0.9286 0.6422 0.2010
408-AH 0.0335 0.3330 0.4146 0.4509 0.6429 0.3516 0.1696 0.1179 0.6093 0.4825 0.2617 0.1359 0.1269 0.3077 0.5238 0.4185 0.0562
409-AH 0.0465 0.4053 0.5000 0.5608 0.7273 0.4718 0.1395 0.1555 0.6808 0.2956 0.4356 0.3509 0.1056 0.2105 0.7273 0.4859 0.1170
410-AH 0.0000 0.6961 0.8261 0.8681 0.9643 0.7741 0.1718 0.1720 0.9643 0.2219 0.5519 0.0003 0.1090 0.5833 0.9643 0.7999 0.0958
411-AH 0.0000 0.0610 0.0693 0.1008 0.1538 0.0812 0.0331 0.0398 0.1538 0.4072 0.0594 0.0003 0.0259 0.0377 0.1538 0.0839 0.0299
412-AH 0.0000 0.0122 0.0576 0.1492 0.4194 0.0892 0.1044 0.1370 0.4194 1.1710 0.0161 0.0001 0.0766 0.0000 0.1719 0.0671 0.0620
413-AH 0.0151 0.2734 0.3158 0.5455 0.7273 0.3716 0.2024 0.2721 0.7122 0.5446 0.2885 0.1388 0.1593 0.0151 0.7273 0.3716 0.2024
414-AH 0.0184 0.6667 1.0000 1.0000 1.0000 0.8259 0.2539 0.3333 0.9816 0.3074 0.7283 0.3357 0.2135 0.5000 1.0000 0.8528 0.2084
415-AH 0.0000 0.2282 0.3614 0.4080 0.5690 0.3335 0.1352 0.1797 0.5690 0.4053 0.2263 0.0003 0.1063 0.0000 0.5690 0.3335 0.1352
416-AH 0.0677 0.4435 0.7000 0.7614 0.8235 0.6163 0.1938 0.3179 0.7559 0.3144 0.5682 0.4679 0.1673 0.0677 0.8235 0.6163 0.1938
417-AH 0.0000 0.0000 0.0758 0.2645 0.3889 0.1351 0.1298 0.2645 0.3889 0.9606 0.0073 0.0000 0.1145 0.0000 0.3889 0.1351 0.1298
418-AH 0.0723 0.6667 0.7000 0.7778 0.8571 0.6862 0.1746 0.1111 0.7849 0.2544 0.6331 0.4951 0.1045 0.5455 0.8571 0.7269 0.0773
419-AH 0.0775 0.5000 0.5909 0.7013 0.8333 0.5700 0.1776 0.2013 0.7558 0.3116 0.5232 0.4342 0.1336 0.2075 0.8333 0.6013 0.1338
420-AH 0.0000 0.1381 0.5000 0.5758 0.7917 0.4147 0.2381 0.4377 0.7917 0.5741 0.2392 0.0003 0.2037 0.0000 0.7917 0.4147 0.2381
421-AH 0.0116 0.5000 0.8333 1.0000 1.0000 0.7230 0.2943 0.5000 0.9884 0.4070 0.6047 0.2309 0.2638 0.0116 1.0000 0.7230 0.2943
422-AH 0.0000 0.0000 0.0000 0.0317 0.1007 0.0150 0.0274 0.0317 0.1007 1.8331 0.0001 0.0000 0.0222 0.0000 0.0663 0.0121 0.0227
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0153 0.0483 0.0833 0.2612 1.0000 0.1876 0.2618 0.2129 0.9847 1.3960 0.0929 0.0545 0.1836 0.0153 0.4000 0.1124 0.1137
425-AH 0.0243 0.0950 0.1416 0.2323 0.3659 0.1659 0.0875 0.1373 0.3415 0.5272 0.1431 0.1182 0.0724 0.0243 0.3659 0.1659 0.0875
426-AH 0.0000 0.0000 0.1903 0.2349 0.3039 0.1365 0.1211 0.2349 0.3039 0.8873 0.0034 0.0000 0.1144 0.0000 0.3039 0.1365 0.1211
427-AH 0.0000 0.2608 0.3333 0.6231 0.7778 0.4046 0.2123 0.3623 0.7778 0.5248 0.1992 0.0002 0.1764 0.0000 0.7778 0.4046 0.2123
428-AH 0.0063 0.0321 0.1087 0.3822 0.7143 0.2026 0.2204 0.3501 0.7080 1.0881 0.0980 0.0463 0.1872 0.0063 0.7143 0.2026 0.2204
429-AH 0.0000 0.1056 0.2824 0.4597 0.6667 0.2868 0.1856 0.3542 0.6667 0.6471 0.1720 0.0003 0.1633 0.0000 0.6667 0.2868 0.1856
430-AH 0.0000 0.7647 0.8125 0.8889 1.0000 0.7556 0.2756 0.1242 1.0000 0.3647 0.4597 0.0003 0.1810 0.6190 1.0000 0.8505 0.1048
431-AH 0.0164 0.1800 0.3478 0.5590 0.8125 0.3753 0.2509 0.3790 0.7961 0.6686 0.2481 0.0997 0.2069 0.0164 0.8125 0.3753 0.2509
432-AH 0.0000 0.3060 0.3143 0.3846 0.4043 0.3125 0.0944 0.0786 0.4043 0.3021 0.1691 0.0002 0.0558 0.2439 0.4043 0.3341 0.0457
433-AH 0.5226 0.7355 0.8095 0.8644 0.8974 0.7943 0.0810 0.1289 0.3748 0.1020 0.7899 0.7850 0.0646 0.6993 0.8974 0.8034 0.0645
434-AH 0.3684 0.5337 0.8704 0.9645 1.0000 0.7797 0.2057 0.4308 0.6316 0.2638 0.7493 0.7155 0.1795 0.3684 1.0000 0.7797 0.2057
435-AH 0.3286 0.6005 0.7711 0.8679 0.9531 0.7096 0.1838 0.2674 0.6246 0.2589 0.6816 0.6483 0.1539 0.3286 0.9531 0.7096 0.1838
436-AH 0.0000 0.0000 0.1951 0.2748 0.3837 0.1639 0.1390 0.2748 0.3837 0.8476 0.0087 0.0000 0.1249 0.0000 0.3837 0.1639 0.1390
437-AH 0.2379 0.3903 0.6733 0.7473 0.8214 0.5839 0.2138 0.3569 0.5835 0.3661 0.5344 0.4764 0.1857 0.2379 0.8214 0.5839 0.2138
438-AH 0.0390 0.1107 0.1739 0.2347 0.5000 0.1798 0.1047 0.1240 0.4610 0.5820 0.1458 0.1090 0.0755 0.0390 0.3902 0.1692 0.0876
439-AH 0.0000 0.0399 0.0598 0.0872 0.1542 0.0584 0.0402 0.0473 0.1542 0.6874 0.0096 0.0000 0.0306 0.0000 0.1542 0.0584 0.0402
440-AH 0.0221 0.1054 0.2857 0.3909 0.8000 0.2858 0.1903 0.2855 0.7779 0.6661 0.2181 0.1478 0.1553 0.0221 0.8000 0.2858 0.1903
441-AH 0.0136 0.1141 0.5000 0.9643 1.0000 0.5241 0.3786 0.8502 0.9864 0.7223 0.3337 0.1491 0.3380 0.0136 1.0000 0.5241 0.3786
442-AH 0.1000 0.8333 1.0000 1.0000 1.0000 0.8937 0.2077 0.1667 0.9000 0.2324 0.8435 0.7078 0.1509 0.6667 1.0000 0.9481 0.1075
443-AH 0.1478 0.4765 0.6207 0.6735 0.8571 0.5772 0.1768 0.1969 0.7093 0.3063 0.5415 0.4912 0.1323 0.2062 0.8571 0.5916 0.1605
444-AH 0.0599 0.2867 0.3333 0.3671 0.6667 0.3341 0.1167 0.0804 0.6068 0.3493 0.3113 0.2775 0.0778 0.1935 0.4444 0.3154 0.0655
445-AH 0.0000 0.5417 0.7500 1.0000 1.0000 0.7217 0.3349 0.4583 1.0000 0.4640 0.3241 0.0002 0.2712 0.0000 1.0000 0.7217 0.3349
446-AH 0.0581 0.3031 0.3333 0.5455 0.8889 0.4011 0.2222 0.2423 0.8307 0.5540 0.3331 0.2570 0.1758 0.0581 0.8889 0.4011 0.2222
447-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9716 0.0591 0.0000 0.1667 0.0608 0.9697 0.9677 0.0458 1.0000 1.0000 1.0000 0.0000
448-AH 0.0577 0.1419 0.4000 0.7500 1.0000 0.4999 0.3631 0.6081 0.9423 0.7263 0.3315 0.1892 0.3291 0.0577 1.0000 0.4999 0.3631
449-AH 0.0480 0.0715 0.2177 0.2543 0.8286 0.2850 0.2661 0.1828 0.7806 0.9336 0.1892 0.1309 0.2073 0.0480 0.2549 0.1512 0.0829
450-AH 0.0000 0.0782 0.2319 0.4520 0.5581 0.2715 0.2055 0.3738 0.5581 0.7567 0.0651 0.0001 0.1863 0.0000 0.5581 0.2715 0.2055
128
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1154 0.1792 0.3333 0.5000 0.7500 0.3483 0.1899 0.3208 0.6346 0.5453 0.2967 0.2493 0.1579 0.1154 0.7500 0.3483 0.1899
402-AH 0.0000 0.4063 0.5849 0.6851 0.7333 0.5084 0.2298 0.2788 0.7333 0.4521 0.3200 0.0003 0.1881 0.0000 0.7333 0.5084 0.2298
403-AH 0.0000 0.0131 0.0771 0.1081 0.2365 0.0800 0.0653 0.0949 0.2365 0.8165 0.0092 0.0000 0.0489 0.0000 0.2365 0.0800 0.0653
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0312 0.2563 0.4615 0.5977 0.6471 0.4291 0.1746 0.3415 0.6158 0.4070 0.3765 0.2755 0.1527 0.0312 0.6471 0.4291 0.1746
406-AH 0.0000 0.0369 0.1078 0.2181 0.4583 0.1347 0.1061 0.1812 0.4583 0.7875 0.0760 0.0003 0.0867 0.0000 0.4583 0.1347 0.1061
407-AH 0.0179 0.4175 0.5185 0.8250 0.9286 0.5435 0.2478 0.4075 0.9106 0.4559 0.4556 0.2524 0.2020 0.0179 0.9286 0.5435 0.2478
408-AH 0.0335 0.3330 0.3871 0.4400 0.6429 0.3461 0.1679 0.1070 0.6093 0.4853 0.2580 0.1352 0.1257 0.2812 0.5238 0.4113 0.0583
409-AH 0.0465 0.3381 0.5000 0.5407 0.6667 0.4326 0.1536 0.2026 0.6202 0.3550 0.3898 0.3112 0.1258 0.0465 0.6667 0.4326 0.1536
410-AH 0.0000 0.6782 0.7059 0.8000 0.9643 0.7150 0.1550 0.1218 0.9643 0.2168 0.5117 0.0003 0.0853 0.5686 0.9643 0.7388 0.0815
411-AH 0.0000 0.0580 0.0693 0.1008 0.1333 0.0777 0.0312 0.0428 0.1333 0.4020 0.0566 0.0003 0.0255 0.0000 0.1333 0.0777 0.0312
412-AH 0.0000 0.0000 0.0425 0.1262 0.4118 0.0779 0.0991 0.1262 0.4118 1.2734 0.0058 0.0000 0.0704 0.0000 0.1707 0.0566 0.0571
413-AH 0.0102 0.1919 0.2632 0.3378 0.7273 0.2767 0.1775 0.1459 0.7170 0.6415 0.1988 0.0899 0.1243 0.0102 0.5000 0.2456 0.1351
414-AH 0.0184 0.6667 1.0000 1.0000 1.0000 0.8259 0.2539 0.3333 0.9816 0.3074 0.7283 0.3357 0.2135 0.5000 1.0000 0.8528 0.2084
415-AH 0.0000 0.2102 0.2803 0.3220 0.5373 0.2754 0.1160 0.1118 0.5373 0.4213 0.1893 0.0003 0.0843 0.0649 0.4868 0.2676 0.0870
416-AH 0.0677 0.4435 0.6667 0.7533 0.8077 0.5911 0.1849 0.3098 0.7400 0.3128 0.5468 0.4552 0.1593 0.0677 0.8077 0.5911 0.1849
417-AH 0.0000 0.0000 0.0554 0.2218 0.3556 0.1130 0.1193 0.2218 0.3556 1.0558 0.0037 0.0000 0.1045 0.0000 0.3556 0.1130 0.1193
418-AH 0.0238 0.6439 0.7000 0.7756 0.8333 0.6720 0.1746 0.1317 0.8095 0.2598 0.6006 0.3389 0.0993 0.5333 0.8333 0.7134 0.0702
419-AH 0.0586 0.5000 0.5714 0.6767 0.7143 0.5421 0.1651 0.1767 0.6557 0.3046 0.4943 0.3920 0.1164 0.3721 0.7143 0.5869 0.0923
420-AH 0.0000 0.1304 0.3108 0.4670 0.6571 0.3239 0.1824 0.3366 0.6571 0.5630 0.1961 0.0003 0.1525 0.0000 0.6571 0.3239 0.1824
421-AH 0.0116 0.3813 0.5455 0.8571 1.0000 0.6141 0.3036 0.4759 0.9884 0.4943 0.4804 0.1888 0.2698 0.0116 1.0000 0.6141 0.3036
422-AH 0.0000 0.0000 0.0000 0.0000 0.0609 0.0056 0.0174 0.0000 0.0609 3.1138 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0000 0.0089 0.0316 0.0537 1.0000 0.0901 0.2005 0.0448 1.0000 2.2245 0.0192 0.0002 0.1098 0.0000 0.0789 0.0271 0.0219
425-AH 0.0234 0.0900 0.1274 0.1973 0.3393 0.1495 0.0763 0.1072 0.3159 0.5102 0.1306 0.1094 0.0607 0.0234 0.3393 0.1495 0.0763
426-AH 0.0000 0.0000 0.1438 0.1858 0.2352 0.1002 0.0946 0.1858 0.2352 0.9443 0.0022 0.0000 0.0905 0.0000 0.2352 0.1002 0.0946
427-AH 0.0000 0.2454 0.3333 0.5536 0.6667 0.3859 0.1956 0.3081 0.6667 0.5068 0.1921 0.0002 0.1623 0.0000 0.6667 0.3859 0.1956
428-AH 0.0000 0.0305 0.0390 0.2129 0.5455 0.1352 0.1654 0.1825 0.5455 1.2227 0.0521 0.0003 0.1348 0.0000 0.4615 0.1216 0.1493
429-AH 0.0000 0.0782 0.1961 0.3969 0.4348 0.2261 0.1480 0.3187 0.4348 0.6542 0.1354 0.0003 0.1319 0.0000 0.4348 0.2261 0.1480
430-AH 0.0000 0.3542 0.5517 0.8421 1.0000 0.5627 0.2893 0.4879 1.0000 0.5142 0.3303 0.0003 0.2472 0.0000 1.0000 0.5627 0.2893
431-AH 0.0163 0.0935 0.2500 0.4451 0.8125 0.3262 0.2497 0.3516 0.7962 0.7655 0.2041 0.0889 0.2083 0.0163 0.8125 0.3262 0.2497
432-AH 0.0000 0.1972 0.3111 0.3535 0.4043 0.2786 0.1132 0.1563 0.4043 0.4064 0.1447 0.0002 0.0886 0.0000 0.4043 0.2786 0.1132
433-AH 0.4961 0.7160 0.7500 0.8182 0.8716 0.7537 0.0804 0.1021 0.3755 0.1066 0.7492 0.7441 0.0606 0.6038 0.8716 0.7623 0.0657
434-AH 0.1429 0.4809 0.7887 0.9469 0.9740 0.7151 0.2408 0.4659 0.8312 0.3367 0.6628 0.5891 0.2113 0.1429 0.9740 0.7151 0.2408
435-AH 0.2176 0.4835 0.7108 0.8049 0.9531 0.6516 0.1928 0.3214 0.7356 0.2958 0.6177 0.5764 0.1639 0.2176 0.9531 0.6516 0.1928
436-AH 0.0000 0.0000 0.1515 0.2379 0.3361 0.1456 0.1267 0.2379 0.3361 0.8704 0.0078 0.0000 0.1135 0.0000 0.3361 0.1456 0.1267
437-AH 0.1995 0.2980 0.6042 0.6643 0.7963 0.5155 0.2011 0.3663 0.5968 0.3902 0.4658 0.4082 0.1730 0.1995 0.7963 0.5155 0.2011
438-AH 0.0386 0.1107 0.1682 0.2215 0.4286 0.1686 0.0965 0.1108 0.3900 0.5724 0.1381 0.1054 0.0706 0.0386 0.2679 0.1520 0.0744
439-AH 0.0000 0.0000 0.0000 0.0575 0.0997 0.0270 0.0324 0.0575 0.0997 1.2006 0.0005 0.0000 0.0296 0.0000 0.0997 0.0270 0.0324
440-AH 0.0221 0.0939 0.2308 0.3533 0.7857 0.2492 0.1751 0.2594 0.7636 0.7028 0.1889 0.1302 0.1339 0.0221 0.5294 0.2313 0.1465
441-AH 0.0136 0.1105 0.2174 0.8194 0.8571 0.3936 0.3274 0.7089 0.8435 0.8318 0.2461 0.1265 0.2981 0.0136 0.8571 0.3936 0.3274
442-AH 0.1000 0.6000 0.7500 1.0000 1.0000 0.7610 0.2288 0.4000 0.9000 0.3007 0.7097 0.6070 0.1872 0.1000 1.0000 0.7610 0.2288
443-AH 0.0399 0.3710 0.5000 0.6119 0.7857 0.4694 0.2008 0.2409 0.7458 0.4278 0.3990 0.2819 0.1580 0.0399 0.7857 0.4694 0.2008
444-AH 0.0508 0.2124 0.2955 0.3333 0.4194 0.2784 0.0816 0.1210 0.3686 0.2930 0.2620 0.2346 0.0640 0.0508 0.4194 0.2784 0.0816
445-AH 0.0000 0.5417 0.7500 1.0000 1.0000 0.7217 0.3349 0.4583 1.0000 0.4640 0.3241 0.0002 0.2712 0.0000 1.0000 0.7217 0.3349
446-AH 0.0513 0.1500 0.3200 0.5245 0.8889 0.3401 0.2289 0.3745 0.8376 0.6732 0.2624 0.1931 0.1930 0.0513 0.8889 0.3401 0.2289
447-AH 0.8333 1.0000 1.0000 1.0000 1.0000 0.9716 0.0591 0.0000 0.1667 0.0608 0.9697 0.9677 0.0458 1.0000 1.0000 1.0000 0.0000
448-AH 0.0577 0.1419 0.4000 0.7500 1.0000 0.4999 0.3631 0.6081 0.9423 0.7263 0.3315 0.1892 0.3291 0.0577 1.0000 0.4999 0.3631
449-AH 0.0000 0.0516 0.1538 0.2196 0.7805 0.2363 0.2432 0.1681 0.7805 1.0291 0.0666 0.0001 0.1885 0.0000 0.2200 0.1146 0.0806
450-AH 0.0000 0.0404 0.1412 0.3409 0.4225 0.1879 0.1599 0.3005 0.4225 0.8507 0.0207 0.0000 0.1462 0.0000 0.4225 0.1879 0.1599
129
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0312 0.1105 0.1667 0.2000 0.5000 0.1888 0.1133 0.0895 0.4688 0.6000 0.1628 0.1389 0.0808 0.0312 0.2857 0.1515 0.0550
402-AH 0.0000 0.2924 0.5205 0.6032 0.6786 0.4271 0.2157 0.3108 0.6786 0.5051 0.2635 0.0003 0.1915 0.0000 0.6786 0.4271 0.2157
403-AH 0.0000 0.0000 0.0575 0.0825 0.1826 0.0616 0.0523 0.0825 0.1826 0.8487 0.0059 0.0000 0.0397 0.0000 0.1826 0.0616 0.0523
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0000 0.2074 0.4333 0.4824 0.6000 0.3497 0.1719 0.2750 0.6000 0.4916 0.2213 0.0003 0.1536 0.0000 0.6000 0.3497 0.1719
406-AH 0.0000 0.0321 0.0778 0.1608 0.2321 0.0961 0.0725 0.1287 0.2321 0.7537 0.0446 0.0002 0.0606 0.0000 0.2321 0.0961 0.0725
407-AH 0.0000 0.2295 0.3333 0.8224 0.8750 0.4451 0.2835 0.5929 0.8750 0.6369 0.2718 0.0003 0.2473 0.0000 0.8750 0.4451 0.2835
408-AH 0.0335 0.3285 0.3793 0.4358 0.5789 0.3373 0.1634 0.1073 0.5454 0.4845 0.2522 0.1337 0.1238 0.2414 0.5789 0.4097 0.0718
409-AH 0.0260 0.2773 0.4839 0.5213 0.6000 0.4109 0.1540 0.2440 0.5740 0.3748 0.3615 0.2538 0.1293 0.0260 0.6000 0.4109 0.1540
410-AH 0.0000 0.5744 0.6905 0.7377 0.9394 0.6491 0.1703 0.1633 0.9394 0.2623 0.4609 0.0003 0.1174 0.4627 0.9394 0.6707 0.1224
411-AH 0.0000 0.0580 0.0674 0.0978 0.1333 0.0742 0.0287 0.0398 0.1333 0.3871 0.0545 0.0003 0.0227 0.0000 0.1333 0.0742 0.0287
412-AH 0.0000 0.0000 0.0301 0.0896 0.3696 0.0553 0.0816 0.0896 0.3696 1.4742 0.0022 0.0000 0.0541 0.0000 0.1104 0.0371 0.0402
413-AH 0.0000 0.1565 0.2308 0.2632 0.5000 0.2361 0.1456 0.1067 0.5000 0.6169 0.1380 0.0003 0.1054 0.0000 0.2632 0.1769 0.0872
414-AH 0.0059 0.3884 0.5000 0.7125 1.0000 0.5139 0.2494 0.3241 0.9941 0.4854 0.3628 0.0781 0.1912 0.0059 1.0000 0.5139 0.2494
415-AH 0.0000 0.1319 0.2139 0.2911 0.4388 0.2118 0.1008 0.1592 0.4388 0.4760 0.1436 0.0003 0.0831 0.0000 0.4388 0.2118 0.1008
416-AH 0.0615 0.4013 0.6061 0.7133 0.8077 0.5575 0.1860 0.3120 0.7462 0.3336 0.5127 0.4234 0.1642 0.0615 0.8077 0.5575 0.1860
417-AH 0.0000 0.0000 0.0000 0.1881 0.3257 0.0902 0.1117 0.1881 0.3257 1.2381 0.0008 0.0000 0.0989 0.0000 0.3257 0.0902 0.1117
418-AH 0.0228 0.6222 0.6429 0.7500 0.8333 0.6168 0.1922 0.1278 0.8105 0.3116 0.5258 0.2533 0.1273 0.4545 0.8333 0.6691 0.0971
419-AH 0.0426 0.4167 0.5333 0.6087 0.7143 0.4977 0.1584 0.1920 0.6717 0.3183 0.4506 0.3425 0.1187 0.1324 0.7143 0.5128 0.1363
420-AH 0.0000 0.1024 0.2482 0.3759 0.5472 0.2581 0.1499 0.2735 0.5472 0.5805 0.1597 0.0003 0.1210 0.0000 0.5472 0.2581 0.1499
421-AH 0.0000 0.0230 0.1231 0.3404 1.0000 0.1985 0.2243 0.3174 1.0000 1.1298 0.0296 0.0001 0.1676 0.0000 0.5714 0.1718 0.1707
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0000 0.0089 0.0316 0.0537 1.0000 0.0901 0.2005 0.0448 1.0000 2.2245 0.0192 0.0002 0.1098 0.0000 0.0789 0.0271 0.0219
425-AH 0.0000 0.0893 0.1250 0.1695 0.2644 0.1324 0.0632 0.0802 0.2644 0.4774 0.0916 0.0003 0.0506 0.0000 0.2644 0.1324 0.0632
426-AH 0.0000 0.0000 0.0000 0.0000 0.2045 0.0335 0.0700 0.0000 0.2045 2.0915 0.0001 0.0000 0.0540 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.2142 0.3056 0.4051 0.5000 0.3019 0.1256 0.1909 0.5000 0.4160 0.1573 0.0002 0.0965 0.0000 0.5000 0.3019 0.1256
428-AH 0.0000 0.0210 0.0235 0.1308 0.4118 0.0841 0.0982 0.1098 0.4118 1.1675 0.0361 0.0003 0.0781 0.0000 0.2353 0.0732 0.0785
429-AH 0.0000 0.0605 0.1791 0.2918 0.3700 0.1767 0.1098 0.2313 0.3700 0.6212 0.1083 0.0003 0.1000 0.0000 0.3700 0.1767 0.1098
430-AH 0.0000 0.2165 0.3030 0.3276 0.5758 0.2773 0.1342 0.1111 0.5758 0.4840 0.1366 0.0002 0.1021 0.0964 0.4524 0.2879 0.0832
431-AH 0.0161 0.0723 0.2000 0.4103 0.8125 0.2818 0.2411 0.3381 0.7964 0.8555 0.1716 0.0809 0.2013 0.0161 0.8125 0.2818 0.2411
432-AH 0.0000 0.1245 0.3019 0.3486 0.4043 0.2459 0.1324 0.2240 0.4043 0.5385 0.1135 0.0002 0.1110 0.0000 0.4043 0.2459 0.1324
433-AH 0.4262 0.6802 0.7243 0.7812 0.8453 0.7202 0.0856 0.1010 0.4191 0.1189 0.7144 0.7076 0.0598 0.5543 0.8453 0.7300 0.0671
434-AH 0.1066 0.3158 0.7283 0.8797 0.9740 0.5994 0.3231 0.5639 0.8674 0.5390 0.4699 0.3236 0.2851 0.1066 0.9740 0.5994 0.3231
435-AH 0.1447 0.3340 0.6509 0.7487 0.8734 0.5683 0.2253 0.4147 0.7288 0.3964 0.5101 0.4374 0.1971 0.1447 0.8734 0.5683 0.2253
436-AH 0.0000 0.0000 0.0990 0.2064 0.2883 0.1147 0.1083 0.2064 0.2883 0.9447 0.0030 0.0000 0.1005 0.0000 0.2883 0.1147 0.1083
437-AH 0.1883 0.2568 0.5604 0.6126 0.7554 0.4758 0.1930 0.3558 0.5671 0.4057 0.4292 0.3786 0.1717 0.1883 0.7554 0.4758 0.1930
438-AH 0.0386 0.1036 0.1642 0.2005 0.3396 0.1494 0.0789 0.0969 0.3010 0.5280 0.1253 0.0992 0.0636 0.0386 0.3396 0.1494 0.0789
439-AH 0.0000 0.0000 0.0000 0.0000 0.0613 0.0085 0.0198 0.0000 0.0613 2.3335 0.0000 0.0000 0.0142 0.0000 0.0000 0.0000 0.0000
440-AH 0.0170 0.0459 0.1618 0.2400 0.7857 0.1821 0.1646 0.1941 0.7687 0.9035 0.1169 0.0667 0.1167 0.0170 0.5000 0.1620 0.1226
441-AH 0.0136 0.0880 0.1304 0.5000 0.8571 0.3226 0.3035 0.4120 0.8435 0.9408 0.1887 0.1003 0.2624 0.0136 0.8571 0.3226 0.3035
442-AH 0.0267 0.2088 0.2759 0.4110 0.6154 0.3065 0.1634 0.2022 0.5887 0.5332 0.2543 0.1840 0.1260 0.0267 0.6154 0.3065 0.1634
443-AH 0.0292 0.2459 0.4194 0.4871 0.6341 0.3688 0.1743 0.2412 0.6050 0.4726 0.2969 0.1821 0.1415 0.0292 0.6341 0.3688 0.1743
444-AH 0.0321 0.2041 0.2881 0.3125 0.3810 0.2556 0.0770 0.1084 0.3489 0.3014 0.2372 0.2001 0.0632 0.1220 0.3810 0.2630 0.0660
445-AH 0.0000 0.1786 0.4286 1.0000 1.0000 0.5007 0.3819 0.8214 1.0000 0.7628 0.1342 0.0001 0.3349 0.0000 1.0000 0.5007 0.3819
446-AH 0.0253 0.0540 0.1951 0.2903 0.8889 0.2269 0.2139 0.2364 0.8636 0.9425 0.1492 0.0978 0.1515 0.0253 0.6154 0.1843 0.1405
447-AH 0.8333 0.8571 1.0000 1.0000 1.0000 0.9424 0.0740 0.1429 0.1667 0.0785 0.9395 0.9366 0.0706 0.8333 1.0000 0.9424 0.0740
448-AH 0.0577 0.1395 0.3333 0.7500 1.0000 0.4538 0.3517 0.6105 0.9423 0.7750 0.2997 0.1782 0.3079 0.0577 1.0000 0.4538 0.3517
449-AH 0.0000 0.0109 0.1168 0.1669 0.6724 0.1699 0.1946 0.1560 0.6724 1.1450 0.0134 0.0000 0.1477 0.0000 0.3922 0.0972 0.1019
450-AH 0.0000 0.0000 0.1118 0.1812 0.3980 0.1138 0.1101 0.1812 0.3980 0.9673 0.0066 0.0000 0.0889 0.0000 0.3980 0.1138 0.1101
130
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0136 0.0638 0.0943 0.1408 0.1724 0.0959 0.0480 0.0770 0.1589 0.5009 0.0806 0.0610 0.0385 0.0136 0.1724 0.0959 0.0480
402-AH 0.0000 0.1501 0.3577 0.4161 0.6286 0.3102 0.1937 0.2660 0.6286 0.6244 0.1085 0.0001 0.1633 0.0000 0.6286 0.3102 0.1937
403-AH 0.0000 0.0000 0.0502 0.0713 0.1250 0.0390 0.0416 0.0713 0.1250 1.0667 0.0010 0.0000 0.0377 0.0000 0.1250 0.0390 0.0416
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0000 0.1509 0.3488 0.4540 0.6000 0.3105 0.1739 0.3031 0.6000 0.5601 0.1864 0.0003 0.1533 0.0000 0.6000 0.3105 0.1739
406-AH 0.0000 0.0233 0.0627 0.1014 0.1899 0.0701 0.0521 0.0781 0.1899 0.7430 0.0269 0.0001 0.0429 0.0000 0.1899 0.0701 0.0521
407-AH 0.0000 0.1977 0.2881 0.7575 0.8571 0.4008 0.2777 0.5598 0.8571 0.6929 0.2399 0.0003 0.2386 0.0000 0.8571 0.4008 0.2777
408-AH 0.0250 0.2606 0.3514 0.3846 0.4828 0.3051 0.1482 0.1240 0.4578 0.4858 0.2231 0.1094 0.1153 0.2414 0.4828 0.3715 0.0612
409-AH 0.0168 0.2701 0.4571 0.4836 0.5833 0.3859 0.1527 0.2135 0.5665 0.3957 0.3318 0.2048 0.1267 0.0168 0.5833 0.3859 0.1527
410-AH 0.0000 0.4885 0.6735 0.7068 0.8293 0.6223 0.1676 0.2183 0.8293 0.2694 0.4416 0.0003 0.1214 0.4483 0.8293 0.6431 0.1236
411-AH 0.0000 0.0482 0.0583 0.0914 0.1231 0.0665 0.0289 0.0432 0.1231 0.4344 0.0482 0.0003 0.0231 0.0000 0.1231 0.0665 0.0289
412-AH 0.0000 0.0000 0.0241 0.0465 0.0607 0.0232 0.0212 0.0465 0.0607 0.9167 0.0015 0.0000 0.0184 0.0000 0.0607 0.0232 0.0212
413-AH 0.0000 0.1314 0.1571 0.1712 0.2222 0.1371 0.0590 0.0399 0.2222 0.4301 0.0571 0.0001 0.0430 0.0922 0.2222 0.1601 0.0258
414-AH 0.0059 0.3884 0.5000 0.7125 1.0000 0.5139 0.2494 0.3241 0.9941 0.4854 0.3628 0.0781 0.1912 0.0059 1.0000 0.5139 0.2494
415-AH 0.0000 0.0609 0.1502 0.2394 0.3377 0.1520 0.0914 0.1785 0.3377 0.6011 0.0963 0.0003 0.0802 0.0000 0.3377 0.1520 0.0914
416-AH 0.0491 0.3315 0.4444 0.6316 0.7812 0.4904 0.1871 0.3001 0.7322 0.3815 0.4428 0.3554 0.1655 0.0491 0.7812 0.4904 0.1871
417-AH 0.0000 0.0000 0.0000 0.1477 0.2500 0.0704 0.0865 0.1477 0.2500 1.2290 0.0008 0.0000 0.0772 0.0000 0.2500 0.0704 0.0865
418-AH 0.0202 0.6087 0.6364 0.7286 0.8333 0.6084 0.1941 0.1199 0.8131 0.3191 0.5113 0.2203 0.1292 0.4545 0.8333 0.6698 0.0921
419-AH 0.0209 0.3617 0.4043 0.5507 0.6800 0.4321 0.1552 0.1890 0.6591 0.3593 0.3819 0.2477 0.1212 0.1324 0.6800 0.4458 0.1375
420-AH 0.0000 0.0566 0.1864 0.2815 0.5000 0.1940 0.1408 0.2249 0.5000 0.7256 0.0655 0.0001 0.1190 0.0000 0.5000 0.1940 0.1408
421-AH 0.0000 0.0188 0.0756 0.2135 1.0000 0.1648 0.2115 0.1947 1.0000 1.2840 0.0192 0.0001 0.1475 0.0000 0.4400 0.1234 0.1285
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0000 0.0043 0.0089 0.0244 0.1667 0.0198 0.0309 0.0201 0.1667 1.5592 0.0036 0.0001 0.0178 0.0000 0.0481 0.0149 0.0148
425-AH 0.0000 0.0781 0.1120 0.1515 0.2231 0.1190 0.0590 0.0735 0.2231 0.4953 0.0818 0.0003 0.0480 0.0000 0.2231 0.1190 0.0590
426-AH 0.0000 0.0000 0.0000 0.0000 0.1530 0.0049 0.0275 0.0000 0.1530 5.5678 0.0000 0.0000 0.0096 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.2107 0.3000 0.3611 0.4667 0.2842 0.1180 0.1504 0.4667 0.4152 0.1478 0.0002 0.0896 0.0000 0.4667 0.2842 0.1180
428-AH 0.0000 0.0121 0.0167 0.1185 0.2353 0.0597 0.0785 0.1064 0.2353 1.3145 0.0151 0.0001 0.0648 0.0000 0.2353 0.0597 0.0785
429-AH 0.0000 0.0515 0.1313 0.1983 0.2739 0.1287 0.0810 0.1469 0.2739 0.6289 0.0810 0.0003 0.0705 0.0000 0.2739 0.1287 0.0810
430-AH 0.0000 0.0603 0.1073 0.2405 0.4423 0.1551 0.1182 0.1802 0.4423 0.7621 0.0549 0.0001 0.1005 0.0000 0.4423 0.1551 0.1182
431-AH 0.0000 0.0595 0.1724 0.3889 0.7826 0.2358 0.2206 0.3294 0.7826 0.9357 0.1101 0.0003 0.1774 0.0000 0.7826 0.2358 0.2206
432-AH 0.0000 0.0582 0.2329 0.3352 0.4043 0.2127 0.1354 0.2770 0.4043 0.6367 0.0931 0.0002 0.1184 0.0000 0.4043 0.2127 0.1354
433-AH 0.3346 0.6480 0.6780 0.7426 0.7879 0.6738 0.0912 0.0946 0.4533 0.1353 0.6662 0.6562 0.0596 0.5573 0.7879 0.6924 0.0550
434-AH 0.0000 0.2776 0.5827 0.7969 0.9634 0.5244 0.3311 0.5194 0.9634 0.6315 0.1270 0.0001 0.2869 0.0000 0.9634 0.5244 0.3311
435-AH 0.0000 0.3150 0.5442 0.6587 0.7339 0.4831 0.2050 0.3438 0.7339 0.4243 0.3213 0.0003 0.1769 0.0000 0.7339 0.4831 0.2050
436-AH 0.0000 0.0000 0.0699 0.1273 0.2535 0.0771 0.0766 0.1273 0.2535 0.9925 0.0024 0.0000 0.0663 0.0000 0.2535 0.0771 0.0766
437-AH 0.1872 0.2250 0.4959 0.5535 0.7126 0.4259 0.1627 0.3285 0.5254 0.3820 0.3902 0.3521 0.1436 0.1872 0.7126 0.4259 0.1627
438-AH 0.0386 0.0805 0.1196 0.1755 0.3043 0.1312 0.0689 0.0950 0.2658 0.5251 0.1114 0.0911 0.0571 0.0386 0.3043 0.1312 0.0689
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0336 0.1176 0.1831 0.5200 0.1370 0.1291 0.1495 0.5200 0.9427 0.0541 0.0002 0.0931 0.0000 0.4062 0.1124 0.0901
441-AH 0.0104 0.0257 0.0556 0.1174 0.7778 0.1264 0.1772 0.0917 0.7674 1.4023 0.0653 0.0405 0.1185 0.0104 0.2500 0.0652 0.0553
442-AH 0.0000 0.0288 0.1111 0.2130 0.5000 0.1551 0.1604 0.1843 0.5000 1.0340 0.0169 0.0000 0.1239 0.0000 0.3214 0.1040 0.0931
443-AH 0.0000 0.1816 0.2679 0.3942 0.5357 0.2717 0.1427 0.2127 0.5357 0.5252 0.1025 0.0001 0.1121 0.0000 0.5357 0.2717 0.1427
444-AH 0.0317 0.1765 0.2143 0.2396 0.3000 0.2053 0.0604 0.0631 0.2683 0.2943 0.1923 0.1682 0.0464 0.0984 0.3000 0.2110 0.0520
445-AH 0.0000 0.1786 0.4286 1.0000 1.0000 0.5007 0.3819 0.8214 1.0000 0.7628 0.1342 0.0001 0.3349 0.0000 1.0000 0.5007 0.3819
446-AH 0.0203 0.0501 0.1154 0.2622 0.8182 0.1890 0.1990 0.2122 0.7979 1.0532 0.1210 0.0824 0.1402 0.0203 0.5294 0.1479 0.1237
447-AH 0.4545 0.8571 0.8571 1.0000 1.0000 0.9110 0.1126 0.1429 0.5455 0.1236 0.9024 0.8908 0.0862 0.8333 1.0000 0.9262 0.0754
448-AH 0.0577 0.1395 0.3333 0.7500 1.0000 0.4538 0.3517 0.6105 0.9423 0.7750 0.2997 0.1782 0.3079 0.0577 1.0000 0.4538 0.3517
449-AH 0.0000 0.0000 0.0662 0.1357 0.5233 0.0896 0.1271 0.1357 0.5233 1.4184 0.0014 0.0000 0.0936 0.0000 0.3020 0.0658 0.0875
450-AH 0.0000 0.0000 0.0000 0.1269 0.3333 0.0647 0.0998 0.1269 0.3333 1.5436 0.0004 0.0000 0.0802 0.0000 0.2800 0.0557 0.0880
131
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0136 0.0638 0.0943 0.1408 0.1724 0.0959 0.0480 0.0770 0.1589 0.5009 0.0806 0.0610 0.0385 0.0136 0.1724 0.0959 0.0480
402-AH 0.0000 0.1136 0.1623 0.2440 0.5376 0.2056 0.1578 0.1304 0.5376 0.7675 0.0726 0.0001 0.1179 0.0000 0.4237 0.1571 0.0988
403-AH 0.0000 0.0000 0.0000 0.0435 0.0837 0.0183 0.0318 0.0435 0.0837 1.7395 0.0001 0.0000 0.0272 0.0000 0.0837 0.0183 0.0318
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0000 0.1270 0.2931 0.3915 0.4615 0.2587 0.1477 0.2646 0.4615 0.5711 0.1554 0.0003 0.1308 0.0000 0.4615 0.2587 0.1477
406-AH 0.0000 0.0000 0.0411 0.0560 0.1232 0.0377 0.0335 0.0560 0.1232 0.8892 0.0032 0.0000 0.0266 0.0000 0.1232 0.0377 0.0335
407-AH 0.0000 0.1491 0.1983 0.7500 0.8261 0.3458 0.2923 0.6009 0.8261 0.8451 0.1809 0.0003 0.2530 0.0000 0.8261 0.3458 0.2923
408-AH 0.0188 0.1565 0.3261 0.3616 0.4545 0.2630 0.1463 0.2051 0.4358 0.5560 0.1760 0.0770 0.1223 0.0188 0.4545 0.2630 0.1463
409-AH 0.0000 0.2372 0.3148 0.4436 0.5161 0.3119 0.1353 0.2065 0.5161 0.4339 0.2110 0.0003 0.1109 0.0000 0.5161 0.3119 0.1353
410-AH 0.0000 0.4721 0.6190 0.6613 0.7091 0.5657 0.1380 0.1892 0.7091 0.2439 0.4054 0.0003 0.1016 0.4483 0.7091 0.5846 0.0911
411-AH 0.0000 0.0341 0.0440 0.0830 0.1231 0.0574 0.0312 0.0489 0.1231 0.5443 0.0400 0.0003 0.0260 0.0000 0.1231 0.0574 0.0312
412-AH 0.0000 0.0000 0.0000 0.0223 0.0286 0.0071 0.0113 0.0223 0.0286 1.5953 0.0001 0.0000 0.0100 0.0000 0.0286 0.0071 0.0113
413-AH 0.0000 0.0936 0.1237 0.1391 0.2222 0.1115 0.0527 0.0455 0.2222 0.4722 0.0468 0.0001 0.0398 0.0395 0.1765 0.1198 0.0350
414-AH 0.0053 0.0859 0.2000 0.4000 0.6667 0.2705 0.2122 0.3141 0.6614 0.7847 0.1463 0.0376 0.1779 0.0053 0.6667 0.2705 0.2122
415-AH 0.0000 0.0000 0.1033 0.1326 0.2670 0.0847 0.0734 0.1326 0.2670 0.8657 0.0044 0.0000 0.0614 0.0000 0.2670 0.0847 0.0734
416-AH 0.0491 0.2970 0.3649 0.5870 0.7500 0.4320 0.1838 0.2900 0.7009 0.4254 0.3832 0.3080 0.1562 0.0491 0.7500 0.4320 0.1838
417-AH 0.0000 0.0000 0.0000 0.1098 0.2071 0.0518 0.0710 0.1098 0.2071 1.3710 0.0004 0.0000 0.0635 0.0000 0.2071 0.0518 0.0710
418-AH 0.0140 0.6087 0.6316 0.6500 0.8000 0.5615 0.1847 0.0413 0.7860 0.3290 0.4600 0.1621 0.1312 0.6087 0.7059 0.6396 0.0258
419-AH 0.0209 0.3455 0.3922 0.5176 0.6333 0.4037 0.1477 0.1722 0.6125 0.3660 0.3563 0.2356 0.1091 0.1218 0.6333 0.4164 0.1318
420-AH 0.0000 0.0000 0.1164 0.2270 0.4458 0.1322 0.1369 0.2270 0.4458 1.0353 0.0041 0.0000 0.1170 0.0000 0.4458 0.1322 0.1369
421-AH 0.0000 0.0188 0.0710 0.1472 0.8333 0.1390 0.1887 0.1283 0.8333 1.3575 0.0167 0.0001 0.1294 0.0000 0.2703 0.0685 0.0678
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0000 0.0043 0.0089 0.0244 0.1667 0.0198 0.0309 0.0201 0.1667 1.5592 0.0036 0.0001 0.0178 0.0000 0.0481 0.0149 0.0148
425-AH 0.0000 0.0621 0.0817 0.1371 0.1974 0.0957 0.0545 0.0750 0.1974 0.5694 0.0400 0.0001 0.0428 0.0000 0.1974 0.0957 0.0545
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.2054 0.2708 0.3601 0.4667 0.2710 0.1202 0.1547 0.4667 0.4434 0.1069 0.0001 0.0872 0.0000 0.4667 0.2710 0.1202
428-AH 0.0000 0.0000 0.0124 0.0727 0.1837 0.0404 0.0567 0.0727 0.1837 1.4030 0.0025 0.0000 0.0465 0.0000 0.1698 0.0356 0.0509
429-AH 0.0000 0.0000 0.0932 0.1325 0.2000 0.0791 0.0756 0.1325 0.2000 0.9555 0.0024 0.0000 0.0674 0.0000 0.2000 0.0791 0.0756
430-AH 0.0000 0.0256 0.0452 0.1607 0.4098 0.0926 0.0976 0.1351 0.4098 1.0539 0.0113 0.0000 0.0786 0.0000 0.2451 0.0821 0.0792
431-AH 0.0000 0.0410 0.0724 0.1141 0.7826 0.1136 0.1546 0.0731 0.7826 1.3614 0.0353 0.0001 0.0868 0.0000 0.1633 0.0708 0.0455
432-AH 0.0000 0.0293 0.0791 0.1509 0.3922 0.1163 0.1107 0.1217 0.3922 0.9513 0.0377 0.0001 0.0850 0.0000 0.2985 0.0978 0.0873
433-AH 0.2361 0.6108 0.6296 0.6823 0.7257 0.6180 0.0948 0.0715 0.4896 0.1535 0.6077 0.5917 0.0572 0.5526 0.7257 0.6436 0.0418
434-AH 0.0000 0.1610 0.4101 0.6724 0.9583 0.4391 0.3167 0.5114 0.9583 0.7213 0.0590 0.0001 0.2645 0.0000 0.9583 0.4391 0.3167
435-AH 0.0000 0.2883 0.3594 0.5062 0.5962 0.3636 0.1713 0.2179 0.5962 0.4711 0.1365 0.0001 0.1381 0.0000 0.5962 0.3636 0.1713
436-AH 0.0000 0.0000 0.0000 0.0904 0.1875 0.0507 0.0570 0.0904 0.1875 1.1238 0.0009 0.0000 0.0524 0.0000 0.1875 0.0507 0.0570
437-AH 0.0000 0.2130 0.4000 0.4485 0.5887 0.3589 0.1382 0.2355 0.5887 0.3850 0.2486 0.0003 0.1154 0.0000 0.5887 0.3589 0.1382
438-AH 0.0379 0.0641 0.1159 0.1461 0.2222 0.1121 0.0532 0.0820 0.1843 0.4746 0.0981 0.0836 0.0438 0.0379 0.2222 0.1121 0.0532
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0068 0.0761 0.1137 0.4286 0.0863 0.0890 0.1070 0.4286 1.0312 0.0091 0.0000 0.0594 0.0000 0.2623 0.0749 0.0633
441-AH 0.0000 0.0108 0.0189 0.0650 0.1452 0.0390 0.0368 0.0542 0.1452 0.9437 0.0209 0.0003 0.0303 0.0000 0.1452 0.0390 0.0368
442-AH 0.0000 0.0000 0.0000 0.0000 0.4800 0.0689 0.1622 0.0000 0.4800 2.3531 0.0001 0.0000 0.1156 0.0000 0.0000 0.0000 0.0000
443-AH 0.0000 0.1060 0.1627 0.3029 0.4545 0.1915 0.1218 0.1969 0.4545 0.6361 0.0718 0.0001 0.0978 0.0000 0.4545 0.1915 0.1218
444-AH 0.0240 0.1231 0.1449 0.1839 0.2353 0.1486 0.0495 0.0608 0.2113 0.3331 0.1379 0.1206 0.0373 0.0750 0.2353 0.1528 0.0445
445-AH 0.0000 0.0054 0.1379 0.3026 0.5000 0.1753 0.1801 0.2973 0.5000 1.0272 0.0154 0.0000 0.1453 0.0000 0.5000 0.1753 0.1801
446-AH 0.0154 0.0481 0.0769 0.1799 0.7143 0.1351 0.1484 0.1318 0.6989 1.0987 0.0845 0.0541 0.1016 0.0154 0.2564 0.1034 0.0802
447-AH 0.4545 0.8571 0.8571 1.0000 1.0000 0.9110 0.1126 0.1429 0.5455 0.1236 0.9024 0.8908 0.0862 0.8333 1.0000 0.9262 0.0754
448-AH 0.0000 0.0471 0.1429 0.4519 0.8000 0.2379 0.2491 0.4049 0.8000 1.0472 0.0977 0.0003 0.2061 0.0000 0.8000 0.2379 0.2491
449-AH 0.0000 0.0000 0.0000 0.0461 0.2430 0.0335 0.0680 0.0461 0.2430 2.0287 0.0001 0.0000 0.0498 0.0000 0.0814 0.0103 0.0252
450-AH 0.0000 0.0000 0.0000 0.0944 0.2308 0.0505 0.0804 0.0944 0.2308 1.5912 0.0003 0.0000 0.0654 0.0000 0.2308 0.0505 0.0804
132
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0175 0.0343 0.0567 0.0952 0.0363 0.0247 0.0392 0.0952 0.6809 0.0151 0.0001 0.0194 0.0000 0.0952 0.0363 0.0247
402-AH 0.0000 0.0000 0.0627 0.1623 0.3060 0.0881 0.1065 0.1623 0.3060 1.2088 0.0024 0.0000 0.0852 0.0000 0.3060 0.0881 0.1065
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0000 0.0629 0.1802 0.2868 0.4524 0.1849 0.1422 0.2239 0.4524 0.7693 0.0616 0.0001 0.1225 0.0000 0.4524 0.1849 0.1422
406-AH 0.0000 0.0000 0.0196 0.0287 0.0927 0.0189 0.0230 0.0287 0.0927 1.2190 0.0007 0.0000 0.0183 0.0000 0.0543 0.0164 0.0188
407-AH 0.0000 0.0770 0.1180 0.6272 0.7500 0.2874 0.2798 0.5502 0.7500 0.9733 0.1297 0.0003 0.2466 0.0000 0.7500 0.2874 0.2798
408-AH 0.0000 0.1324 0.2429 0.2957 0.4146 0.2109 0.1344 0.1633 0.4146 0.6374 0.0263 0.0000 0.1092 0.0000 0.4146 0.2109 0.1344
409-AH 0.0000 0.1728 0.2687 0.3207 0.4737 0.2603 0.1188 0.1479 0.4737 0.4563 0.1748 0.0003 0.0920 0.0000 0.4737 0.2603 0.1188
410-AH 0.0000 0.3973 0.4300 0.4972 0.5584 0.4133 0.1184 0.0999 0.5584 0.2864 0.2939 0.0003 0.0779 0.3233 0.5584 0.4453 0.0620
411-AH 0.0000 0.0244 0.0377 0.0488 0.1071 0.0408 0.0283 0.0244 0.1071 0.6946 0.0263 0.0003 0.0210 0.0000 0.0750 0.0320 0.0173
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0354 0.0848 0.1091 0.1613 0.0757 0.0442 0.0737 0.1613 0.5833 0.0311 0.0001 0.0381 0.0000 0.1613 0.0757 0.0442
414-AH 0.0053 0.0859 0.2000 0.4000 0.6667 0.2705 0.2122 0.3141 0.6614 0.7847 0.1463 0.0376 0.1779 0.0053 0.6667 0.2705 0.2122
415-AH 0.0000 0.0000 0.0000 0.0707 0.1680 0.0314 0.0498 0.0707 0.1680 1.5840 0.0002 0.0000 0.0426 0.0000 0.1680 0.0314 0.0498
416-AH 0.0000 0.2500 0.2885 0.3949 0.7143 0.3294 0.1653 0.1449 0.7143 0.5018 0.1657 0.0002 0.1244 0.0775 0.6122 0.3286 0.1188
417-AH 0.0000 0.0000 0.0000 0.0000 0.1426 0.0225 0.0475 0.0000 0.1426 2.1149 0.0001 0.0000 0.0362 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.5584 0.6190 0.6364 0.6842 0.5398 0.1845 0.0779 0.6842 0.3418 0.3482 0.0003 0.1379 0.5417 0.6842 0.6289 0.0263
419-AH 0.0000 0.3333 0.3485 0.4001 0.5641 0.3467 0.1245 0.0668 0.5641 0.3591 0.2384 0.0003 0.0819 0.2500 0.5000 0.3660 0.0534
420-AH 0.0000 0.0000 0.0490 0.0861 0.3652 0.0716 0.0980 0.0861 0.3652 1.3690 0.0012 0.0000 0.0723 0.0000 0.1991 0.0405 0.0537
421-AH 0.0000 0.0133 0.0550 0.1279 0.5000 0.0997 0.1307 0.1146 0.5000 1.3105 0.0105 0.0000 0.0937 0.0000 0.2750 0.0637 0.0690
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0000 0.0000 0.0000 0.0110 0.0481 0.0066 0.0108 0.0110 0.0481 1.6215 0.0002 0.0000 0.0078 0.0000 0.0265 0.0053 0.0077
425-AH 0.0000 0.0000 0.0547 0.0937 0.1459 0.0582 0.0498 0.0937 0.1459 0.8558 0.0044 0.0000 0.0409 0.0000 0.1459 0.0582 0.0498
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.1535 0.2083 0.2667 0.3571 0.1961 0.0941 0.1132 0.3571 0.4798 0.0773 0.0001 0.0760 0.0000 0.3571 0.1961 0.0941
428-AH 0.0000 0.0000 0.0000 0.0378 0.1099 0.0214 0.0343 0.0378 0.1099 1.6015 0.0003 0.0000 0.0278 0.0000 0.0935 0.0184 0.0306
429-AH 0.0000 0.0000 0.0000 0.0804 0.1337 0.0390 0.0497 0.0804 0.1337 1.2747 0.0005 0.0000 0.0453 0.0000 0.1337 0.0390 0.0497
430-AH 0.0000 0.0000 0.0000 0.0961 0.3733 0.0476 0.0814 0.0961 0.3733 1.7109 0.0003 0.0000 0.0614 0.0000 0.1697 0.0367 0.0555
431-AH 0.0000 0.0275 0.0354 0.0633 0.7826 0.0692 0.1387 0.0358 0.7826 2.0062 0.0130 0.0001 0.0605 0.0000 0.1118 0.0395 0.0280
432-AH 0.0000 0.0000 0.0000 0.0299 0.1667 0.0335 0.0532 0.0299 0.1667 1.5871 0.0006 0.0000 0.0391 0.0000 0.0458 0.0098 0.0140
433-AH 0.0000 0.4663 0.5423 0.5768 0.6301 0.5063 0.1176 0.1105 0.6301 0.2324 0.3649 0.0003 0.0760 0.3363 0.6301 0.5231 0.0720
434-AH 0.0000 0.0000 0.2028 0.4009 0.9189 0.2739 0.3301 0.4009 0.9189 1.2051 0.0026 0.0000 0.2735 0.0000 0.9189 0.2739 0.3301
435-AH 0.0000 0.0000 0.2458 0.3336 0.3931 0.1828 0.1522 0.3336 0.3931 0.8329 0.0072 0.0000 0.1393 0.0000 0.3931 0.1828 0.1522
436-AH 0.0000 0.0000 0.0000 0.0000 0.1227 0.0188 0.0400 0.0000 0.1227 2.1299 0.0001 0.0000 0.0303 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.1936 0.2752 0.3214 0.4016 0.2575 0.0978 0.1279 0.4016 0.3799 0.1378 0.0002 0.0761 0.1753 0.4016 0.2753 0.0721
438-AH 0.0000 0.0514 0.0871 0.1071 0.1561 0.0813 0.0384 0.0557 0.1561 0.4720 0.0565 0.0003 0.0302 0.0000 0.1561 0.0813 0.0384
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0424 0.1288 0.0275 0.0412 0.0424 0.1288 1.4999 0.0005 0.0000 0.0315 0.0000 0.0806 0.0166 0.0250
441-AH 0.0000 0.0000 0.0135 0.0185 0.1452 0.0172 0.0275 0.0185 0.1452 1.5975 0.0014 0.0000 0.0151 0.0000 0.0452 0.0114 0.0115
442-AH 0.0000 0.0000 0.0000 0.0000 0.4800 0.0620 0.1538 0.0000 0.4800 2.4809 0.0001 0.0000 0.1040 0.0000 0.0000 0.0000 0.0000
443-AH 0.0000 0.0000 0.0756 0.1462 0.3762 0.1036 0.1119 0.1462 0.3762 1.0797 0.0059 0.0000 0.0873 0.0000 0.2946 0.0849 0.0884
444-AH 0.0000 0.0882 0.1009 0.1309 0.1729 0.1059 0.0384 0.0427 0.1729 0.3628 0.0772 0.0003 0.0289 0.0420 0.1729 0.1095 0.0336
445-AH 0.0000 0.0054 0.1379 0.3026 0.5000 0.1753 0.1801 0.2973 0.5000 1.0272 0.0154 0.0000 0.1453 0.0000 0.5000 0.1753 0.1801
446-AH 0.0000 0.0328 0.0519 0.1048 0.3929 0.0787 0.0808 0.0720 0.3929 1.0271 0.0215 0.0001 0.0575 0.0000 0.2000 0.0630 0.0500
447-AH 0.0155 0.8571 0.8571 0.8571 1.0000 0.8189 0.1599 0.0000 0.9845 0.1953 0.7415 0.3100 0.0759 0.8571 0.8571 0.8571 0.0000
448-AH 0.0000 0.0471 0.1429 0.4519 0.8000 0.2379 0.2491 0.4049 0.8000 1.0472 0.0977 0.0003 0.2061 0.0000 0.8000 0.2379 0.2491
449-AH 0.0000 0.0000 0.0000 0.0000 0.1602 0.0152 0.0428 0.0000 0.1602 2.8067 0.0000 0.0000 0.0265 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.1317 0.0151 0.0366 0.0000 0.1317 2.4156 0.0000 0.0000 0.0254 0.0000 0.0000 0.0000 0.0000
133
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0175 0.0343 0.0567 0.0952 0.0363 0.0247 0.0392 0.0952 0.6809 0.0151 0.0001 0.0194 0.0000 0.0952 0.0363 0.0247
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0238 0.0763 0.2500 0.5000 1.0000 0.4006 0.3645 0.4237 0.9762 0.9100 0.2142 0.0886 0.3028 0.0238 1.0000 0.4006 0.3645
405-AH 0.0000 0.0000 0.0665 0.1146 0.2500 0.0751 0.0663 0.1146 0.2500 0.8826 0.0067 0.0000 0.0512 0.0000 0.2500 0.0751 0.0663
406-AH 0.0000 0.0000 0.0000 0.0000 0.0374 0.0032 0.0099 0.0000 0.0374 3.1235 0.0000 0.0000 0.0057 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0461 0.0774 0.2224 0.6571 0.2014 0.2399 0.1763 0.6571 1.1908 0.0183 0.0000 0.1908 0.0000 0.4694 0.0957 0.1085
408-AH 0.0000 0.0326 0.1463 0.2554 0.3750 0.1450 0.1223 0.2228 0.3750 0.8432 0.0170 0.0000 0.1053 0.0000 0.3750 0.1450 0.1223
409-AH 0.0000 0.0950 0.2043 0.2551 0.4318 0.2011 0.1244 0.1601 0.4318 0.6186 0.0966 0.0002 0.0969 0.0000 0.4318 0.2011 0.1244
410-AH 0.0000 0.1684 0.2350 0.2956 0.3701 0.2255 0.0927 0.1272 0.3701 0.4112 0.1558 0.0003 0.0729 0.0000 0.3701 0.2255 0.0927
411-AH 0.0000 0.0169 0.0242 0.0378 0.1031 0.0275 0.0225 0.0209 0.1031 0.8211 0.0064 0.0001 0.0158 0.0000 0.0529 0.0233 0.0157
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0598 0.1015 0.1613 0.0543 0.0477 0.1015 0.1613 0.8780 0.0041 0.0000 0.0423 0.0000 0.1613 0.0543 0.0477
414-AH 0.0053 0.0859 0.2000 0.4000 0.6667 0.2705 0.2122 0.3141 0.6614 0.7847 0.1463 0.0376 0.1779 0.0053 0.6667 0.2705 0.2122
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.0000 0.0000 0.0716 0.1592 0.3267 0.1056 0.1046 0.1592 0.3267 0.9901 0.0078 0.0000 0.0883 0.0000 0.3267 0.1056 0.1046
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.4045 0.6087 0.6364 0.6667 0.5041 0.1965 0.2319 0.6667 0.3897 0.2539 0.0002 0.1588 0.2258 0.6667 0.5389 0.1481
419-AH 0.0000 0.2186 0.3151 0.3472 0.5610 0.2890 0.1344 0.1286 0.5610 0.4652 0.1442 0.0002 0.0974 0.0540 0.5000 0.2999 0.1050
420-AH 0.0000 0.0000 0.0000 0.0000 0.1136 0.0132 0.0351 0.0000 0.1136 2.6585 0.0000 0.0000 0.0230 0.0000 0.0000 0.0000 0.0000
421-AH 0.0000 0.0000 0.0157 0.0622 0.3158 0.0406 0.0654 0.0622 0.3158 1.6099 0.0017 0.0000 0.0438 0.0000 0.1071 0.0268 0.0334
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0019 0.0106 0.0667 0.1083 0.2000 0.0689 0.0572 0.0977 0.1981 0.8304 0.0390 0.0149 0.0440 0.0019 0.2000 0.0689 0.0572
424-AH 0.0000 0.0000 0.0000 0.0110 0.0481 0.0066 0.0108 0.0110 0.0481 1.6215 0.0002 0.0000 0.0078 0.0000 0.0265 0.0053 0.0077
425-AH 0.0000 0.0000 0.0000 0.0000 0.0645 0.0110 0.0210 0.0000 0.0645 1.9126 0.0001 0.0000 0.0170 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0319 0.1758 0.2592 0.3077 0.1546 0.1079 0.2274 0.3077 0.6981 0.0514 0.0001 0.0974 0.0000 0.3077 0.1546 0.1079
428-AH 0.0000 0.0000 0.0000 0.0000 0.0377 0.0012 0.0068 0.0000 0.0377 5.5678 0.0000 0.0000 0.0024 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0623 0.0020 0.0112 0.0000 0.0623 5.5678 0.0000 0.0000 0.0039 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.1308 0.0075 0.0292 0.0000 0.1308 3.9058 0.0000 0.0000 0.0140 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0257 0.2105 0.0194 0.0400 0.0257 0.2105 2.0668 0.0002 0.0000 0.0237 0.0000 0.0595 0.0130 0.0188
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.3216 0.4300 0.1481 0.1683 0.3216 0.4300 1.1365 0.0011 0.0000 0.1624 0.0000 0.4300 0.1481 0.1683
434-AH 0.0000 0.0000 0.0000 0.0000 0.3725 0.0701 0.1355 0.0000 0.3725 1.9327 0.0001 0.0000 0.1085 0.0000 0.0000 0.0000 0.0000
435-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0472 0.0682 0.1215 0.0416 0.0361 0.0682 0.1215 0.8682 0.0028 0.0000 0.0301 0.0000 0.1215 0.0416 0.0361
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0199 0.1241 0.0168 0.0371 0.0199 0.1241 2.2073 0.0001 0.0000 0.0239 0.0000 0.0381 0.0053 0.0108
441-AH 0.0000 0.0000 0.0135 0.0185 0.1452 0.0172 0.0275 0.0185 0.1452 1.5975 0.0014 0.0000 0.0151 0.0000 0.0452 0.0114 0.0115
442-AH 0.0000 0.0000 0.0000 0.0000 0.4800 0.0615 0.1535 0.0000 0.4800 2.4971 0.0001 0.0000 0.1031 0.0000 0.0000 0.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0522 0.2658 0.0337 0.0651 0.0522 0.2658 1.9331 0.0001 0.0000 0.0478 0.0000 0.1280 0.0163 0.0348
444-AH 0.0000 0.0535 0.0735 0.0869 0.1152 0.0694 0.0244 0.0334 0.1152 0.3512 0.0517 0.0003 0.0188 0.0381 0.1152 0.0718 0.0211
445-AH 0.0000 0.0054 0.1379 0.3026 0.5000 0.1753 0.1801 0.2973 0.5000 1.0272 0.0154 0.0000 0.1453 0.0000 0.5000 0.1753 0.1801
446-AH 0.0000 0.0000 0.0188 0.0477 0.1905 0.0347 0.0474 0.0477 0.1905 1.3662 0.0021 0.0000 0.0346 0.0000 0.0882 0.0247 0.0281
447-AH 0.0155 0.8571 0.8571 0.8571 1.0000 0.8189 0.1599 0.0000 0.9845 0.1953 0.7415 0.3100 0.0759 0.8571 0.8571 0.8571 0.0000
448-AH 0.0000 0.0471 0.1429 0.4519 0.8000 0.2379 0.2491 0.4049 0.8000 1.0472 0.0977 0.0003 0.2061 0.0000 0.8000 0.2379 0.2491
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
134
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.2000 0.4000 0.4000 0.4000 0.6000 0.4194 0.0946 0.0000 0.4000 0.2255 0.4084 0.3957 0.0583 0.4000 0.4000 0.4000 0.0000
402-AH 0.0000 0.8000 1.0000 1.0000 1.0000 0.8645 0.2497 0.2000 1.0000 0.2889 0.5957 0.0003 0.1836 0.6000 1.0000 0.9172 0.1466
403-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4194 0.3361 0.4000 1.0000 0.8014 0.0553 0.0001 0.2818 0.0000 1.0000 0.4194 0.3361
404-AH 0.0000 0.0000 0.2000 0.2000 0.2000 0.1355 0.0950 0.2000 0.2000 0.7015 0.0082 0.0000 0.0874 0.0000 0.2000 0.1355 0.0950
405-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6968 0.1538 0.2000 0.6000 0.2207 0.6813 0.6667 0.1315 0.4000 1.0000 0.6968 0.1538
406-AH 0.0000 0.2000 0.2000 0.5500 0.8000 0.3226 0.2617 0.3500 0.8000 0.8112 0.0453 0.0001 0.2198 0.0000 0.8000 0.3226 0.2617
407-AH 0.4000 0.6000 0.6000 0.8000 1.0000 0.6710 0.1419 0.2000 0.6000 0.2115 0.6556 0.6392 0.1211 0.4000 1.0000 0.6710 0.1419
408-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.3161 0.1846 0.2000 0.8000 0.5838 0.1564 0.0002 0.1457 0.0000 0.6000 0.2828 0.1365
409-AH 0.0000 0.4000 0.6000 0.6000 1.0000 0.5355 0.2090 0.2000 1.0000 0.3904 0.3662 0.0003 0.1652 0.2000 0.8000 0.5379 0.1699
410-AH 0.0000 0.6000 0.8000 1.0000 1.0000 0.7677 0.2535 0.4000 1.0000 0.3302 0.5290 0.0003 0.1985 0.4000 1.0000 0.7933 0.2132
411-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0194 0.0601 0.0000 0.2000 3.1056 0.0000 0.0000 0.0350 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.6000 0.0645 0.1404 0.0000 0.6000 2.1755 0.0001 0.0000 0.0999 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.4000 0.4000 0.5500 0.6000 0.4258 0.1341 0.1500 0.6000 0.3149 0.3017 0.0003 0.0899 0.2000 0.6000 0.4400 0.1102
414-AH 0.0000 0.4000 0.4000 0.6000 0.6000 0.4774 0.1334 0.2000 0.6000 0.2795 0.3413 0.0003 0.1107 0.4000 0.6000 0.4933 0.1015
415-AH 0.0000 0.2000 0.6000 0.8000 1.0000 0.5871 0.3052 0.6000 1.0000 0.5199 0.3658 0.0003 0.2497 0.0000 1.0000 0.5871 0.3052
416-AH 0.0000 0.6000 0.6000 0.8000 1.0000 0.6710 0.2101 0.2000 1.0000 0.3131 0.4706 0.0003 0.1561 0.4000 1.0000 0.6933 0.1721
417-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2387 0.2333 0.4000 0.8000 0.9775 0.0082 0.0000 0.1919 0.0000 0.8000 0.2387 0.2333
418-AH 0.0000 0.6000 0.6000 0.8000 0.8000 0.6581 0.1728 0.2000 0.8000 0.2625 0.4667 0.0003 0.1282 0.4000 0.8000 0.6800 0.1243
419-AH 0.0000 0.2000 0.6000 0.6000 0.8000 0.4710 0.2661 0.4000 0.8000 0.5650 0.1635 0.0001 0.2318 0.0000 0.8000 0.4710 0.2661
420-AH 0.0000 0.2000 0.8000 0.8000 1.0000 0.6194 0.3361 0.6000 1.0000 0.5426 0.2793 0.0002 0.2989 0.0000 1.0000 0.6194 0.3361
421-AH 0.0000 0.8000 0.8000 1.0000 1.0000 0.8065 0.2337 0.2000 1.0000 0.2898 0.5624 0.0003 0.1623 0.6000 1.0000 0.8643 0.1446
422-AH 0.0000 0.0000 0.2000 0.2000 0.4000 0.1355 0.1305 0.2000 0.4000 0.9633 0.0034 0.0000 0.1136 0.0000 0.4000 0.1355 0.1305
423-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0129 0.0499 0.0000 0.2000 3.8708 0.0000 0.0000 0.0241 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.2000 0.2000 0.6000 0.1742 0.1437 0.2000 0.6000 0.8249 0.0125 0.0000 0.1011 0.0000 0.4000 0.1600 0.1221
425-AH 0.0000 0.0000 0.0000 0.3500 0.6000 0.1548 0.1841 0.3500 0.6000 1.1890 0.0015 0.0000 0.1598 0.0000 0.6000 0.1548 0.1841
426-AH 0.2000 0.4000 0.6000 0.7500 1.0000 0.5548 0.1912 0.3500 0.8000 0.3446 0.5231 0.4914 0.1627 0.2000 1.0000 0.5548 0.1912
427-AH 0.0000 0.2500 0.4000 0.6000 0.8000 0.4452 0.2406 0.3500 0.8000 0.5405 0.2147 0.0002 0.1902 0.0000 0.8000 0.4452 0.2406
428-AH 0.0000 0.2000 0.2000 0.6000 0.8000 0.3355 0.2332 0.4000 0.8000 0.6950 0.0651 0.0001 0.2044 0.0000 0.8000 0.3355 0.2332
429-AH 0.0000 0.2500 0.6000 0.8000 1.0000 0.5742 0.2816 0.5500 1.0000 0.4905 0.3653 0.0003 0.2285 0.0000 1.0000 0.5742 0.2816
430-AH 0.0000 0.8500 1.0000 1.0000 1.0000 0.8710 0.2991 0.1500 1.0000 0.3434 0.3166 0.0001 0.1915 0.8000 1.0000 0.9643 0.0780
431-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3871 0.2419 0.4000 0.8000 0.6248 0.1017 0.0001 0.1844 0.0000 0.8000 0.3871 0.2419
432-AH 0.0000 0.2000 0.2000 0.4000 0.8000 0.2710 0.2224 0.2000 0.8000 0.8208 0.0398 0.0001 0.1781 0.0000 0.6000 0.2533 0.2030
433-AH 0.4000 0.8000 0.8000 1.0000 1.0000 0.8258 0.1843 0.2000 0.6000 0.2232 0.8020 0.7734 0.1461 0.6000 1.0000 0.8552 0.1502
434-AH 0.6000 0.8000 1.0000 1.0000 1.0000 0.8903 0.1535 0.2000 0.4000 0.1724 0.8757 0.8591 0.1344 0.6000 1.0000 0.8903 0.1535
435-AH 0.4000 0.4500 0.8000 1.0000 1.0000 0.7677 0.2535 0.5500 0.6000 0.3302 0.7196 0.6667 0.2223 0.4000 1.0000 0.7677 0.2535
436-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4516 0.2631 0.4000 0.8000 0.5827 0.1172 0.0001 0.2210 0.0000 0.8000 0.4516 0.2631
437-AH 0.2000 0.8000 0.8000 1.0000 1.0000 0.7871 0.2125 0.2000 0.8000 0.2700 0.7423 0.6667 0.1369 0.6000 1.0000 0.8429 0.1260
438-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.1871 0.1628 0.4000 0.4000 0.8700 0.0073 0.0000 0.1328 0.0000 0.4000 0.1871 0.1628
439-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0387 0.0955 0.0000 0.4000 2.4668 0.0001 0.0000 0.0649 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.2500 0.6000 0.8000 0.8000 0.5484 0.2779 0.5500 0.8000 0.5068 0.2578 0.0002 0.2439 0.0000 0.8000 0.5484 0.2779
441-AH 0.0000 0.2500 0.6000 0.8000 0.8000 0.5226 0.2717 0.5500 0.8000 0.5199 0.2465 0.0002 0.2398 0.0000 0.8000 0.5226 0.2717
442-AH 0.4000 0.8000 1.0000 1.0000 1.0000 0.9097 0.1700 0.2000 0.6000 0.1869 0.8880 0.8571 0.1282 0.6000 1.0000 0.9448 0.1055
443-AH 0.2000 0.6000 0.8000 1.0000 1.0000 0.7161 0.2622 0.4000 0.8000 0.3661 0.6480 0.5527 0.2135 0.2000 1.0000 0.7161 0.2622
444-AH 0.2000 0.4000 0.6000 0.6000 0.8000 0.5419 0.1649 0.2000 0.6000 0.3042 0.5137 0.4800 0.1357 0.2000 0.8000 0.5419 0.1649
445-AH 0.0000 0.4000 0.4000 0.6000 0.6000 0.4387 0.1820 0.2000 0.6000 0.4148 0.1663 0.0001 0.1353 0.2000 0.6000 0.4857 0.1145
446-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.4194 0.2442 0.4000 0.8000 0.5822 0.1107 0.0001 0.1915 0.0000 0.8000 0.4194 0.2442
447-AH 0.8000 0.8000 0.8000 1.0000 1.0000 0.8968 0.1016 0.2000 0.2000 0.1133 0.8912 0.8857 0.0999 0.8000 1.0000 0.8968 0.1016
448-AH 0.0000 0.2000 0.4000 0.6000 0.8000 0.3548 0.2514 0.4000 0.8000 0.7086 0.0506 0.0001 0.2173 0.0000 0.8000 0.3548 0.2514
449-AH 0.2000 0.6000 0.8000 0.8000 1.0000 0.7097 0.1989 0.2000 0.8000 0.2803 0.6710 0.6118 0.1565 0.4000 1.0000 0.7448 0.1502
450-AH 0.0000 0.2000 0.2000 0.7500 1.0000 0.4000 0.3098 0.5500 1.0000 0.7746 0.0958 0.0001 0.2839 0.0000 1.0000 0.4000 0.3098
135
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.2000 0.3000 0.3000 0.4000 0.2677 0.0702 0.1000 0.3000 0.2621 0.2578 0.2464 0.0589 0.1000 0.4000 0.2677 0.0702
402-AH 0.0000 0.8000 0.9000 1.0000 1.0000 0.8452 0.2263 0.2000 1.0000 0.2678 0.5919 0.0003 0.1569 0.8000 1.0000 0.9185 0.0962
403-AH 0.0000 0.2000 0.3000 0.5000 0.7000 0.3484 0.1947 0.3000 0.7000 0.5589 0.1662 0.0002 0.1661 0.0000 0.7000 0.3484 0.1947
404-AH 0.0000 0.0000 0.1000 0.1000 0.1000 0.0710 0.0461 0.1000 0.1000 0.6502 0.0069 0.0000 0.0412 0.0000 0.1000 0.0710 0.0461
405-AH 0.4000 0.5000 0.6000 0.7000 0.8000 0.6032 0.1048 0.2000 0.4000 0.1738 0.5937 0.5835 0.0814 0.4000 0.8000 0.6032 0.1048
406-AH 0.0000 0.2000 0.2000 0.4750 0.6000 0.3032 0.1871 0.2750 0.6000 0.6169 0.1432 0.0002 0.1588 0.0000 0.6000 0.3032 0.1871
407-AH 0.2000 0.6250 0.7000 0.7000 0.9000 0.6774 0.1383 0.0750 0.7000 0.2042 0.6582 0.6279 0.0916 0.6000 0.8000 0.7000 0.0522
408-AH 0.0000 0.1000 0.3000 0.4000 0.6000 0.2871 0.1586 0.3000 0.6000 0.5525 0.1813 0.0003 0.1376 0.0000 0.6000 0.2871 0.1586
409-AH 0.0000 0.4000 0.5000 0.5000 0.7000 0.4484 0.1262 0.1000 0.7000 0.2813 0.3199 0.0003 0.0891 0.3000 0.6000 0.4643 0.0731
410-AH 0.0000 0.6000 0.8000 0.9000 1.0000 0.7484 0.2293 0.3000 1.0000 0.3064 0.5204 0.0003 0.1825 0.3000 1.0000 0.7733 0.1856
411-AH 0.0000 0.0000 0.0000 0.1000 0.2000 0.0419 0.0672 0.1000 0.2000 1.6025 0.0002 0.0000 0.0568 0.0000 0.2000 0.0419 0.0672
412-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0677 0.0979 0.1000 0.4000 1.4457 0.0007 0.0000 0.0743 0.0000 0.2000 0.0483 0.0634
413-AH 0.2000 0.3000 0.4000 0.5000 0.7000 0.4226 0.1543 0.2000 0.5000 0.3651 0.3956 0.3696 0.1294 0.2000 0.7000 0.4226 0.1543
414-AH 0.0000 0.3000 0.3000 0.4000 0.4000 0.3129 0.0846 0.1000 0.4000 0.2704 0.2270 0.0003 0.0562 0.2000 0.4000 0.3233 0.0626
415-AH 0.0000 0.4000 0.6000 0.7000 0.9000 0.5194 0.2428 0.3000 0.9000 0.4675 0.3312 0.0003 0.1929 0.0000 0.9000 0.5194 0.2428
416-AH 0.1000 0.6250 0.7000 0.8000 0.9000 0.7129 0.1586 0.1750 0.8000 0.2225 0.6796 0.5967 0.1101 0.5000 0.9000 0.7333 0.1124
417-AH 0.0000 0.0250 0.3000 0.4000 0.6000 0.2419 0.1840 0.3750 0.6000 0.7605 0.0207 0.0000 0.1578 0.0000 0.6000 0.2419 0.1840
418-AH 0.0000 0.6000 0.7000 0.7000 0.8000 0.6452 0.1502 0.1000 0.8000 0.2328 0.4613 0.0003 0.0959 0.5000 0.8000 0.6759 0.0786
419-AH 0.1000 0.4000 0.6000 0.6750 0.8000 0.5129 0.2045 0.2750 0.7000 0.3987 0.4528 0.3630 0.1721 0.1000 0.8000 0.5129 0.2045
420-AH 0.0000 0.1500 0.7000 0.8000 1.0000 0.5677 0.3198 0.6500 1.0000 0.5632 0.3191 0.0003 0.2760 0.0000 1.0000 0.5677 0.3198
421-AH 0.0000 0.5000 0.5000 0.6000 0.9000 0.5194 0.1447 0.1000 0.9000 0.2787 0.3703 0.0003 0.0974 0.4000 0.6000 0.5321 0.0772
422-AH 0.0000 0.1000 0.1000 0.2000 0.5000 0.1581 0.1259 0.1000 0.5000 0.7965 0.0260 0.0001 0.0986 0.0000 0.3000 0.1286 0.0897
423-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0290 0.0461 0.1000 0.1000 1.5893 0.0001 0.0000 0.0412 0.0000 0.1000 0.0290 0.0461
424-AH 0.0000 0.0250 0.1000 0.1750 0.3000 0.1097 0.0908 0.1500 0.3000 0.8275 0.0115 0.0000 0.0660 0.0000 0.3000 0.1097 0.0908
425-AH 0.0000 0.0000 0.2000 0.3000 0.6000 0.1806 0.1759 0.3000 0.6000 0.9738 0.0052 0.0000 0.1503 0.0000 0.6000 0.1806 0.1759
426-AH 0.1000 0.4000 0.5000 0.6000 0.8000 0.4968 0.1622 0.2000 0.7000 0.3266 0.4635 0.4148 0.1326 0.1000 0.8000 0.4968 0.1622
427-AH 0.0000 0.3000 0.3000 0.6000 0.7000 0.3871 0.2141 0.3000 0.7000 0.5530 0.1857 0.0002 0.1786 0.0000 0.7000 0.3871 0.2141
428-AH 0.0000 0.1000 0.3000 0.4000 0.5000 0.2484 0.1730 0.3000 0.5000 0.6963 0.0652 0.0001 0.1501 0.0000 0.5000 0.2484 0.1730
429-AH 0.0000 0.4000 0.6000 0.7000 0.9000 0.5387 0.2108 0.3000 0.9000 0.3914 0.3615 0.0003 0.1680 0.0000 0.9000 0.5387 0.2108
430-AH 0.0000 0.8000 0.9000 1.0000 1.0000 0.8226 0.2849 0.2000 1.0000 0.3463 0.3005 0.0001 0.1709 0.8000 1.0000 0.9107 0.0832
431-AH 0.0000 0.3000 0.3000 0.5000 0.7000 0.3774 0.2140 0.2000 0.7000 0.5671 0.1788 0.0002 0.1752 0.1000 0.7000 0.4034 0.1955
432-AH 0.0000 0.2000 0.2000 0.3750 0.5000 0.2484 0.1568 0.1750 0.5000 0.6312 0.0911 0.0001 0.1270 0.0000 0.5000 0.2484 0.1568
433-AH 0.6000 0.7000 0.8000 1.0000 1.0000 0.8419 0.1285 0.3000 0.4000 0.1526 0.8323 0.8225 0.1143 0.6000 1.0000 0.8419 0.1285
434-AH 0.6000 0.6000 0.9000 1.0000 1.0000 0.8258 0.1712 0.4000 0.4000 0.2073 0.8073 0.7879 0.1555 0.6000 1.0000 0.8258 0.1712
435-AH 0.4000 0.6250 0.8000 0.9000 1.0000 0.7516 0.2047 0.2750 0.6000 0.2724 0.7189 0.6808 0.1657 0.4000 1.0000 0.7516 0.2047
436-AH 0.0000 0.2000 0.4000 0.5000 0.8000 0.3710 0.2101 0.3000 0.8000 0.5663 0.1311 0.0001 0.1619 0.0000 0.8000 0.3710 0.2101
437-AH 0.3000 0.7000 0.8000 0.9000 1.0000 0.7677 0.1851 0.2000 0.7000 0.2411 0.7388 0.6993 0.1451 0.6000 1.0000 0.8143 0.1208
438-AH 0.0000 0.0250 0.2000 0.3000 0.4000 0.1710 0.1270 0.2750 0.4000 0.7428 0.0163 0.0000 0.1066 0.0000 0.4000 0.1710 0.1270
439-AH 0.0000 0.0000 0.1000 0.2000 0.3000 0.1065 0.1153 0.2000 0.3000 1.0830 0.0021 0.0000 0.0986 0.0000 0.3000 0.1065 0.1153
440-AH 0.0000 0.3000 0.5000 0.5750 0.8000 0.4065 0.2065 0.2750 0.8000 0.5079 0.1920 0.0002 0.1671 0.0000 0.8000 0.4065 0.2065
441-AH 0.0000 0.2000 0.4000 0.5000 0.7000 0.3677 0.1869 0.3000 0.7000 0.5082 0.2351 0.0003 0.1557 0.0000 0.7000 0.3677 0.1869
442-AH 0.2000 0.6000 0.6000 0.6000 0.7000 0.5903 0.0831 0.0000 0.5000 0.1407 0.5809 0.5641 0.0368 0.6000 0.6000 0.6000 0.0000
443-AH 0.2000 0.5250 0.7000 0.9000 1.0000 0.6968 0.2105 0.3750 0.8000 0.3021 0.6581 0.6078 0.1655 0.2000 1.0000 0.6968 0.2105
444-AH 0.1000 0.4000 0.5000 0.5000 0.7000 0.4677 0.1222 0.1000 0.6000 0.2612 0.4466 0.4114 0.0934 0.3000 0.6000 0.4643 0.0870
445-AH 0.0000 0.2000 0.3000 0.3000 0.4000 0.2581 0.1177 0.1000 0.4000 0.4560 0.1013 0.0001 0.0939 0.1000 0.4000 0.2857 0.0848
446-AH 0.0000 0.3000 0.4000 0.5000 0.8000 0.3806 0.1851 0.2000 0.8000 0.4864 0.2496 0.0003 0.1386 0.1000 0.6000 0.3643 0.1393
447-AH 0.4000 0.6000 0.6000 0.6000 0.6000 0.5935 0.0359 0.0000 0.2000 0.0605 0.5922 0.5905 0.0125 0.6000 0.6000 0.6000 0.0000
448-AH 0.0000 0.1000 0.3000 0.3750 0.4000 0.2516 0.1262 0.2750 0.4000 0.5014 0.1641 0.0003 0.1109 0.0000 0.4000 0.2516 0.1262
449-AH 0.1000 0.5000 0.5000 0.7000 1.0000 0.5742 0.1949 0.2000 0.9000 0.3394 0.5349 0.4749 0.1571 0.3000 0.9000 0.5759 0.1618
450-AH 0.0000 0.3250 0.4000 0.6000 0.9000 0.4548 0.2321 0.2750 0.9000 0.5104 0.2940 0.0003 0.1804 0.0000 0.9000 0.4548 0.2321
136
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.1333 0.2000 0.2000 0.2667 0.1892 0.0519 0.0667 0.2000 0.2743 0.1814 0.1722 0.0404 0.0667 0.2667 0.1892 0.0519
402-AH 0.0000 0.8000 0.8667 0.9333 1.0000 0.8108 0.2178 0.1333 1.0000 0.2686 0.5678 0.0003 0.1374 0.7333 1.0000 0.8840 0.0797
403-AH 0.0000 0.2000 0.2667 0.4000 0.6000 0.3140 0.1579 0.2000 0.6000 0.5030 0.1558 0.0002 0.1349 0.0000 0.6000 0.3140 0.1579
404-AH 0.0000 0.0667 0.0667 0.0667 0.0667 0.0516 0.0283 0.0000 0.0667 0.5490 0.0091 0.0000 0.0233 0.0667 0.0667 0.0667 0.0000
405-AH 0.4000 0.4667 0.5333 0.6000 0.6667 0.5355 0.0699 0.1333 0.2667 0.1305 0.5311 0.5266 0.0586 0.4000 0.6667 0.5355 0.0699
406-AH 0.0667 0.2000 0.2667 0.3333 0.4667 0.2817 0.1112 0.1333 0.4000 0.3946 0.2570 0.2278 0.0873 0.0667 0.4667 0.2817 0.1112
407-AH 0.1333 0.5333 0.6000 0.8000 0.8667 0.6344 0.1604 0.2667 0.7333 0.2529 0.6061 0.5572 0.1238 0.4000 0.8667 0.6511 0.1330
408-AH 0.0667 0.2000 0.3333 0.4000 0.6000 0.2882 0.1465 0.2000 0.5333 0.5082 0.2359 0.1743 0.1183 0.0667 0.6000 0.2882 0.1465
409-AH 0.0000 0.4000 0.4667 0.5333 0.6667 0.4516 0.1201 0.1333 0.6667 0.2660 0.3240 0.0003 0.0849 0.2667 0.6667 0.4667 0.0875
410-AH 0.0000 0.6000 0.8667 0.9333 1.0000 0.7570 0.2201 0.3333 1.0000 0.2908 0.5305 0.0003 0.1777 0.4667 1.0000 0.7822 0.1724
411-AH 0.0000 0.0000 0.0667 0.1333 0.2000 0.0602 0.0605 0.1333 0.2000 1.0048 0.0021 0.0000 0.0505 0.0000 0.2000 0.0602 0.0605
412-AH 0.0000 0.0000 0.0667 0.1333 0.4000 0.0925 0.1138 0.1333 0.4000 1.2302 0.0032 0.0000 0.0866 0.0000 0.3333 0.0822 0.1001
413-AH 0.1333 0.2667 0.3333 0.4000 0.5333 0.3312 0.1054 0.1333 0.4000 0.3182 0.3136 0.2943 0.0841 0.1333 0.5333 0.3312 0.1054
414-AH 0.0000 0.2000 0.2000 0.2667 0.2667 0.2194 0.0576 0.0667 0.2667 0.2625 0.1612 0.0003 0.0427 0.1333 0.2667 0.2267 0.0414
415-AH 0.0000 0.3500 0.5333 0.6000 0.8000 0.4731 0.1857 0.2500 0.8000 0.3925 0.3220 0.0003 0.1435 0.0000 0.8000 0.4731 0.1857
416-AH 0.2000 0.6667 0.6667 0.7333 0.8667 0.6710 0.1115 0.0667 0.6667 0.1661 0.6566 0.6308 0.0615 0.6000 0.8000 0.6914 0.0494
417-AH 0.0000 0.1500 0.2667 0.3333 0.4000 0.2194 0.1357 0.1833 0.4000 0.6189 0.0357 0.0001 0.1091 0.0000 0.4000 0.2194 0.1357
418-AH 0.0000 0.5333 0.6000 0.6667 0.8000 0.5914 0.1518 0.1333 0.8000 0.2566 0.4209 0.0003 0.0977 0.4667 0.8000 0.6230 0.0860
419-AH 0.0667 0.4000 0.6000 0.6667 0.7333 0.5161 0.1977 0.2667 0.6667 0.3831 0.4507 0.3360 0.1598 0.0667 0.7333 0.5161 0.1977
420-AH 0.0000 0.2833 0.6000 0.7333 0.8667 0.5183 0.2682 0.4500 0.8667 0.5174 0.3038 0.0003 0.2268 0.0000 0.8667 0.5183 0.2682
421-AH 0.0000 0.3500 0.4000 0.4500 0.6667 0.3935 0.1052 0.1000 0.6667 0.2673 0.2842 0.0003 0.0612 0.2667 0.5333 0.3977 0.0604
422-AH 0.0000 0.0667 0.1333 0.2000 0.4000 0.1376 0.0973 0.1333 0.4000 0.7068 0.0400 0.0001 0.0746 0.0000 0.2667 0.1289 0.0856
423-AH 0.0000 0.0000 0.0667 0.0667 0.0667 0.0366 0.0337 0.0667 0.0667 0.9225 0.0013 0.0000 0.0330 0.0000 0.0667 0.0366 0.0337
424-AH 0.0000 0.0667 0.0667 0.1333 0.2000 0.0817 0.0563 0.0667 0.2000 0.6893 0.0205 0.0001 0.0429 0.0000 0.2000 0.0817 0.0563
425-AH 0.0000 0.0000 0.1333 0.3333 0.5333 0.1720 0.1649 0.3333 0.5333 0.9585 0.0066 0.0000 0.1414 0.0000 0.5333 0.1720 0.1649
426-AH 0.0667 0.4000 0.4667 0.6000 0.8000 0.4667 0.1587 0.2000 0.7333 0.3401 0.4304 0.3687 0.1247 0.2000 0.8000 0.4800 0.1427
427-AH 0.0000 0.2167 0.3333 0.5167 0.5333 0.3355 0.1582 0.3000 0.5333 0.4716 0.1700 0.0002 0.1315 0.0000 0.5333 0.3355 0.1582
428-AH 0.0000 0.0667 0.2000 0.3333 0.4000 0.2022 0.1328 0.2667 0.4000 0.6567 0.0716 0.0001 0.1142 0.0000 0.4000 0.2022 0.1328
429-AH 0.0000 0.3500 0.5333 0.6000 0.8000 0.4796 0.1767 0.2500 0.8000 0.3685 0.3318 0.0003 0.1442 0.0000 0.8000 0.4796 0.1767
430-AH 0.0000 0.8000 0.8000 0.8667 1.0000 0.7591 0.2580 0.0667 1.0000 0.3399 0.3700 0.0002 0.1605 0.7333 0.9333 0.8480 0.0562
431-AH 0.0000 0.2667 0.3333 0.5167 0.8000 0.3763 0.2167 0.2500 0.8000 0.5759 0.2312 0.0003 0.1762 0.0000 0.8000 0.3763 0.2167
432-AH 0.0000 0.2000 0.2000 0.3333 0.4000 0.2323 0.1045 0.1333 0.4000 0.4500 0.1199 0.0002 0.0849 0.0000 0.4000 0.2323 0.1045
433-AH 0.6000 0.6667 0.8667 0.9333 1.0000 0.8237 0.1306 0.2667 0.4000 0.1585 0.8130 0.8019 0.1102 0.6000 1.0000 0.8237 0.1306
434-AH 0.4000 0.5333 0.8667 0.9833 1.0000 0.7828 0.2218 0.4500 0.6000 0.2833 0.7472 0.7077 0.1974 0.4000 1.0000 0.7828 0.2218
435-AH 0.4667 0.7333 0.8000 0.9333 1.0000 0.7849 0.1603 0.2000 0.5333 0.2042 0.7669 0.7468 0.1313 0.4667 1.0000 0.7849 0.1603
436-AH 0.0000 0.1667 0.4000 0.4000 0.6667 0.3247 0.1907 0.2333 0.6667 0.5873 0.1128 0.0001 0.1562 0.0000 0.6667 0.3247 0.1907
437-AH 0.2667 0.6667 0.8000 0.8667 1.0000 0.7333 0.1846 0.2000 0.7333 0.2517 0.7039 0.6650 0.1419 0.4000 1.0000 0.7632 0.1486
438-AH 0.0000 0.0667 0.2000 0.2667 0.4667 0.1849 0.1112 0.2000 0.4667 0.6011 0.1175 0.0003 0.0930 0.0000 0.4667 0.1849 0.1112
439-AH 0.0000 0.0167 0.1333 0.2000 0.2667 0.1269 0.1009 0.1833 0.2667 0.7952 0.0126 0.0000 0.0888 0.0000 0.2667 0.1269 0.1009
440-AH 0.0000 0.2167 0.4000 0.4000 0.7333 0.3548 0.1514 0.1833 0.7333 0.4267 0.2400 0.0003 0.1170 0.0000 0.5333 0.3422 0.1364
441-AH 0.0667 0.1500 0.2667 0.4000 0.4667 0.2817 0.1214 0.2500 0.4000 0.4308 0.2522 0.2196 0.1035 0.0667 0.4667 0.2817 0.1214
442-AH 0.2000 0.4000 0.4000 0.4667 0.5333 0.4344 0.0686 0.0667 0.3333 0.1579 0.4281 0.4200 0.0527 0.3333 0.5333 0.4422 0.0539
443-AH 0.2000 0.6000 0.6667 0.8000 0.8667 0.6710 0.1614 0.2000 0.6667 0.2406 0.6451 0.6076 0.1206 0.3333 0.8667 0.6867 0.1380
444-AH 0.1333 0.3333 0.3333 0.4000 0.6667 0.3763 0.1041 0.0667 0.5333 0.2765 0.3621 0.3459 0.0773 0.2667 0.4667 0.3605 0.0620
445-AH 0.0000 0.1500 0.2000 0.2500 0.2667 0.1871 0.0739 0.1000 0.2667 0.3949 0.1005 0.0002 0.0536 0.0000 0.2667 0.1871 0.0739
446-AH 0.0667 0.2667 0.3333 0.4000 0.6667 0.3269 0.1514 0.1333 0.6000 0.4631 0.2798 0.2168 0.1189 0.1333 0.5333 0.3440 0.0956
447-AH 0.3333 0.4000 0.4000 0.4000 0.4000 0.3978 0.0120 0.0000 0.0667 0.0301 0.3977 0.3974 0.0042 0.4000 0.4000 0.4000 0.0000
448-AH 0.0667 0.0667 0.2000 0.2667 0.2667 0.1806 0.0811 0.2000 0.2000 0.4489 0.1574 0.1319 0.0692 0.0667 0.2667 0.1806 0.0811
449-AH 0.0667 0.4000 0.6000 0.6500 0.9333 0.5419 0.1968 0.2500 0.8667 0.3632 0.4947 0.4128 0.1583 0.0667 0.9333 0.5419 0.1968
450-AH 0.0667 0.3333 0.4667 0.5833 0.8000 0.4344 0.1779 0.2500 0.7333 0.4096 0.3819 0.3000 0.1386 0.0667 0.8000 0.4344 0.1779
137
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.1500 0.1500 0.2000 0.2000 0.1548 0.0350 0.0500 0.1000 0.2261 0.1508 0.1465 0.0262 0.1000 0.2000 0.1548 0.0350
402-AH 0.0000 0.7500 0.7500 0.8000 0.9500 0.7306 0.1935 0.0500 0.9500 0.2648 0.5147 0.0003 0.1235 0.7500 0.8500 0.7789 0.0303
403-AH 0.0000 0.2000 0.3000 0.3875 0.6000 0.2935 0.1548 0.1875 0.6000 0.5273 0.1443 0.0002 0.1232 0.0000 0.6000 0.2935 0.1548
404-AH 0.0000 0.0500 0.0500 0.0500 0.0500 0.0387 0.0213 0.0000 0.0500 0.5490 0.0073 0.0000 0.0175 0.0500 0.0500 0.0500 0.0000
405-AH 0.3000 0.4125 0.5000 0.5500 0.6000 0.4774 0.0681 0.1375 0.3000 0.1427 0.4724 0.4670 0.0570 0.3000 0.6000 0.4774 0.0681
406-AH 0.0500 0.2000 0.2500 0.3000 0.4500 0.2581 0.0886 0.1000 0.4000 0.3433 0.2403 0.2153 0.0734 0.0500 0.4500 0.2581 0.0886
407-AH 0.1000 0.5000 0.5500 0.7500 0.8500 0.5774 0.1736 0.2500 0.7500 0.3007 0.5440 0.4871 0.1368 0.4000 0.8500 0.5933 0.1518
408-AH 0.0500 0.2500 0.3000 0.4000 0.5500 0.2952 0.1434 0.1500 0.5000 0.4858 0.2371 0.1592 0.1098 0.0500 0.5500 0.2952 0.1434
409-AH 0.0000 0.3625 0.4500 0.5000 0.6000 0.4355 0.1149 0.1375 0.6000 0.2638 0.3130 0.0003 0.0832 0.3000 0.6000 0.4500 0.0830
410-AH 0.0000 0.6500 0.8000 0.9000 0.9500 0.7532 0.1953 0.2500 0.9500 0.2593 0.5325 0.0003 0.1479 0.5000 0.9500 0.7783 0.1388
411-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0581 0.0430 0.0500 0.1500 0.7406 0.0094 0.0000 0.0335 0.0000 0.1500 0.0581 0.0430
412-AH 0.0000 0.0500 0.1000 0.1500 0.4500 0.1113 0.1078 0.1000 0.4500 0.9685 0.0139 0.0000 0.0848 0.0000 0.3000 0.1000 0.0891
413-AH 0.1000 0.2500 0.3000 0.3000 0.4500 0.2984 0.0908 0.0500 0.3500 0.3044 0.2840 0.2676 0.0633 0.2000 0.3500 0.2739 0.0395
414-AH 0.0500 0.1500 0.2000 0.2000 0.2000 0.1726 0.0384 0.0500 0.1500 0.2224 0.1667 0.1576 0.0318 0.1000 0.2000 0.1767 0.0314
415-AH 0.0000 0.3625 0.5000 0.5500 0.8000 0.4726 0.1668 0.1875 0.8000 0.3529 0.3285 0.0003 0.1272 0.2000 0.8000 0.4883 0.1442
416-AH 0.1500 0.6000 0.6500 0.7500 0.8000 0.6500 0.1265 0.1500 0.6500 0.1946 0.6299 0.5903 0.0871 0.4500 0.8000 0.6667 0.0874
417-AH 0.0500 0.1625 0.2500 0.3000 0.4500 0.2371 0.1225 0.1375 0.4000 0.5165 0.1931 0.1409 0.1012 0.0500 0.4500 0.2371 0.1225
418-AH 0.0500 0.5500 0.6000 0.6000 0.6500 0.5516 0.1338 0.0500 0.6000 0.2426 0.5148 0.4091 0.0881 0.5000 0.6500 0.6000 0.0424
419-AH 0.0500 0.4500 0.5500 0.6000 0.7000 0.5016 0.1666 0.1500 0.6500 0.3321 0.4493 0.3422 0.1239 0.2500 0.7000 0.5446 0.1039
420-AH 0.0000 0.2250 0.5500 0.7000 0.8500 0.4984 0.2365 0.4750 0.8500 0.4745 0.3190 0.0003 0.1956 0.0000 0.8500 0.4984 0.2365
421-AH 0.0000 0.3000 0.3000 0.3500 0.5000 0.3161 0.0860 0.0500 0.5000 0.2721 0.2298 0.0003 0.0531 0.2500 0.4000 0.3185 0.0396
422-AH 0.0000 0.0625 0.1500 0.2000 0.3500 0.1435 0.0901 0.1375 0.3500 0.6279 0.0547 0.0001 0.0692 0.0000 0.3500 0.1435 0.0901
423-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0323 0.0243 0.0500 0.0500 0.7539 0.0024 0.0000 0.0229 0.0000 0.0500 0.0323 0.0243
424-AH 0.0000 0.0500 0.0500 0.1000 0.1500 0.0661 0.0454 0.0500 0.1500 0.6871 0.0171 0.0001 0.0369 0.0000 0.1500 0.0661 0.0454
425-AH 0.0000 0.0500 0.1500 0.3000 0.4000 0.1774 0.1309 0.2500 0.4000 0.7379 0.1012 0.0003 0.1157 0.0000 0.4000 0.1774 0.1309
426-AH 0.0500 0.3625 0.4500 0.6000 0.7500 0.4484 0.1630 0.2375 0.7000 0.3636 0.4053 0.3274 0.1275 0.0500 0.7500 0.4484 0.1630
427-AH 0.0000 0.2500 0.3000 0.4000 0.4500 0.3032 0.1258 0.1500 0.4500 0.4148 0.1577 0.0002 0.1003 0.1500 0.4500 0.3241 0.0997
428-AH 0.0000 0.0500 0.2000 0.2500 0.3500 0.1661 0.1060 0.2000 0.3500 0.6379 0.0780 0.0002 0.0930 0.0000 0.3500 0.1661 0.1060
429-AH 0.0000 0.3000 0.5000 0.5875 0.7000 0.4516 0.1696 0.2875 0.7000 0.3754 0.3127 0.0003 0.1403 0.0000 0.7000 0.4516 0.1696
430-AH 0.0000 0.6500 0.7000 0.8000 0.8500 0.6581 0.2273 0.1500 0.8500 0.3455 0.3219 0.0002 0.1407 0.5000 0.8500 0.7268 0.0822
431-AH 0.0000 0.2125 0.3500 0.4375 0.7500 0.3371 0.1992 0.2250 0.7500 0.5908 0.2037 0.0003 0.1553 0.0000 0.7500 0.3371 0.1992
432-AH 0.0000 0.2000 0.2500 0.3000 0.4000 0.2484 0.0944 0.1000 0.4000 0.3801 0.1331 0.0002 0.0698 0.1500 0.4000 0.2655 0.0696
433-AH 0.6000 0.7125 0.9000 0.9000 1.0000 0.8387 0.1195 0.1875 0.4000 0.1425 0.8299 0.8205 0.0992 0.6000 1.0000 0.8387 0.1195
434-AH 0.3000 0.5500 0.9000 0.9500 1.0000 0.7726 0.2355 0.4000 0.7000 0.3049 0.7283 0.6744 0.2046 0.3000 1.0000 0.7726 0.2355
435-AH 0.5000 0.7625 0.8500 0.9000 0.9500 0.7919 0.1444 0.1375 0.4500 0.1823 0.7774 0.7612 0.1120 0.6000 0.9500 0.8520 0.0810
436-AH 0.0000 0.1250 0.3000 0.4500 0.6500 0.2919 0.1876 0.3250 0.6500 0.6425 0.0984 0.0001 0.1545 0.0000 0.6500 0.2919 0.1876
437-AH 0.3000 0.6000 0.7500 0.8500 1.0000 0.7177 0.1842 0.2500 0.7000 0.2566 0.6902 0.6570 0.1527 0.3000 1.0000 0.7177 0.1842
438-AH 0.0500 0.1000 0.2000 0.2500 0.4000 0.1758 0.0930 0.1500 0.3500 0.5289 0.1500 0.1245 0.0798 0.0500 0.4000 0.1758 0.0930
439-AH 0.0000 0.1000 0.1000 0.2000 0.4000 0.1403 0.0970 0.1000 0.4000 0.6911 0.0409 0.0001 0.0771 0.0000 0.3000 0.1317 0.0856
440-AH 0.0000 0.2125 0.3500 0.3875 0.6000 0.3097 0.1287 0.1750 0.6000 0.4157 0.2124 0.0003 0.0991 0.0000 0.6000 0.3097 0.1287
441-AH 0.0500 0.1125 0.2000 0.3000 0.3500 0.2194 0.0946 0.1875 0.3000 0.4312 0.1955 0.1687 0.0825 0.0500 0.3500 0.2194 0.0946
442-AH 0.2000 0.3000 0.3500 0.3875 0.4500 0.3452 0.0582 0.0875 0.2500 0.1687 0.3403 0.3353 0.0443 0.2000 0.4500 0.3452 0.0582
443-AH 0.2500 0.5625 0.6500 0.7000 0.8500 0.6339 0.1369 0.1375 0.6000 0.2159 0.6160 0.5930 0.0982 0.4000 0.8500 0.6569 0.1067
444-AH 0.1000 0.3000 0.3500 0.4000 0.5500 0.3532 0.0903 0.1000 0.4500 0.2557 0.3399 0.3213 0.0624 0.2500 0.5000 0.3482 0.0616
445-AH 0.0000 0.1500 0.1500 0.2000 0.2000 0.1452 0.0538 0.0500 0.2000 0.3705 0.0803 0.0002 0.0365 0.1000 0.2000 0.1589 0.0335
446-AH 0.0500 0.2500 0.3000 0.3500 0.5000 0.2790 0.1055 0.1000 0.4500 0.3781 0.2527 0.2153 0.0811 0.1500 0.4500 0.3000 0.0707
447-AH 0.2500 0.3000 0.3000 0.3000 0.3000 0.2984 0.0090 0.0000 0.0500 0.0301 0.2982 0.2981 0.0031 0.3000 0.3000 0.3000 0.0000
448-AH 0.0500 0.1125 0.1500 0.2000 0.2000 0.1419 0.0564 0.0875 0.1500 0.3975 0.1268 0.1081 0.0442 0.0500 0.2000 0.1419 0.0564
449-AH 0.0500 0.3125 0.5500 0.6875 0.9000 0.5129 0.2183 0.3750 0.8500 0.4256 0.4515 0.3522 0.1826 0.0500 0.9000 0.5129 0.2183
450-AH 0.1000 0.3125 0.5000 0.5500 0.7000 0.4435 0.1667 0.2375 0.6000 0.3758 0.4025 0.3486 0.1398 0.1000 0.7000 0.4435 0.1667
138
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.1000 0.1333 0.1333 0.1667 0.1247 0.0243 0.0333 0.1000 0.1948 0.1223 0.1197 0.0197 0.0667 0.1667 0.1247 0.0243
402-AH 0.0000 0.6000 0.6667 0.7333 0.8667 0.6323 0.1861 0.1333 0.8667 0.2943 0.4431 0.0003 0.1349 0.4333 0.8667 0.6889 0.1034
403-AH 0.0000 0.1667 0.2667 0.3583 0.5000 0.2591 0.1360 0.1917 0.5000 0.5248 0.1672 0.0003 0.1131 0.0000 0.5000 0.2591 0.1360
404-AH 0.0000 0.0333 0.0333 0.0333 0.0333 0.0280 0.0125 0.0000 0.0333 0.4458 0.0090 0.0001 0.0090 0.0333 0.0333 0.0333 0.0000
405-AH 0.2000 0.3333 0.4333 0.4333 0.5000 0.3849 0.0864 0.1000 0.3000 0.2245 0.3745 0.3631 0.0746 0.2000 0.5000 0.3849 0.0864
406-AH 0.1000 0.1417 0.2333 0.2667 0.3667 0.2151 0.0688 0.1250 0.2667 0.3198 0.2038 0.1924 0.0609 0.1000 0.3667 0.2151 0.0688
407-AH 0.1000 0.4000 0.4000 0.6333 0.7000 0.4667 0.1587 0.2333 0.6000 0.3401 0.4364 0.3959 0.1290 0.1000 0.7000 0.4667 0.1587
408-AH 0.0333 0.2750 0.3667 0.4000 0.4667 0.3043 0.1434 0.1250 0.4333 0.4714 0.2299 0.1244 0.1103 0.2667 0.4667 0.3693 0.0544
409-AH 0.0333 0.3083 0.4333 0.4667 0.5000 0.3903 0.1103 0.1583 0.4667 0.2825 0.3609 0.2831 0.0893 0.2000 0.5000 0.4022 0.0897
410-AH 0.0000 0.6667 0.7000 0.8000 0.9333 0.7000 0.1542 0.1333 0.9333 0.2203 0.5010 0.0003 0.0860 0.5667 0.9333 0.7233 0.0845
411-AH 0.0000 0.0333 0.0667 0.0667 0.1333 0.0591 0.0307 0.0333 0.1333 0.5188 0.0417 0.0003 0.0238 0.0000 0.1000 0.0540 0.0243
412-AH 0.0000 0.0333 0.0667 0.1667 0.4000 0.1032 0.1062 0.1333 0.4000 1.0291 0.0124 0.0000 0.0833 0.0000 0.2000 0.0828 0.0733
413-AH 0.0667 0.2083 0.2333 0.2667 0.3333 0.2387 0.0678 0.0583 0.2667 0.2841 0.2266 0.2100 0.0493 0.1333 0.3333 0.2494 0.0554
414-AH 0.0333 0.1000 0.1333 0.1333 0.1333 0.1194 0.0255 0.0333 0.1000 0.2136 0.1153 0.1088 0.0198 0.0667 0.1333 0.1222 0.0202
415-AH 0.0000 0.4000 0.4667 0.5250 0.7333 0.4366 0.1521 0.1250 0.7333 0.3484 0.3047 0.0003 0.1104 0.2333 0.7000 0.4593 0.1055
416-AH 0.1000 0.4333 0.6000 0.7000 0.7667 0.5720 0.1506 0.2667 0.6667 0.2632 0.5431 0.4887 0.1256 0.1000 0.7667 0.5720 0.1506
417-AH 0.0667 0.1667 0.2667 0.3000 0.4000 0.2387 0.0915 0.1333 0.3333 0.3834 0.2162 0.1889 0.0769 0.0667 0.4000 0.2387 0.0915
418-AH 0.0333 0.4417 0.4667 0.4667 0.4667 0.4258 0.0969 0.0250 0.4333 0.2275 0.3976 0.3060 0.0611 0.4333 0.4667 0.4653 0.0068
419-AH 0.0667 0.4333 0.5000 0.5333 0.6333 0.4634 0.1426 0.1000 0.5667 0.3076 0.4211 0.3377 0.0964 0.3333 0.6333 0.5036 0.0728
420-AH 0.0000 0.2417 0.5000 0.5917 0.6667 0.4452 0.1966 0.3500 0.6667 0.4415 0.2910 0.0003 0.1654 0.0000 0.6667 0.4452 0.1966
421-AH 0.0000 0.2083 0.2333 0.2667 0.3667 0.2398 0.0696 0.0583 0.3667 0.2903 0.1751 0.0003 0.0436 0.1667 0.3333 0.2346 0.0387
422-AH 0.0000 0.1000 0.1333 0.2000 0.4000 0.1559 0.0929 0.1000 0.4000 0.5955 0.0767 0.0002 0.0706 0.0000 0.3000 0.1478 0.0824
423-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0215 0.0162 0.0333 0.0333 0.7539 0.0019 0.0000 0.0153 0.0000 0.0333 0.0215 0.0162
424-AH 0.0000 0.0333 0.0667 0.0667 0.1333 0.0516 0.0320 0.0333 0.1333 0.6203 0.0178 0.0001 0.0263 0.0000 0.1000 0.0489 0.0287
425-AH 0.0000 0.0750 0.1000 0.2333 0.3667 0.1634 0.1076 0.1583 0.3667 0.6585 0.1018 0.0003 0.0932 0.0000 0.3667 0.1634 0.1076
426-AH 0.0333 0.3750 0.4333 0.5250 0.6333 0.4269 0.1451 0.1500 0.6000 0.3400 0.3845 0.2883 0.1060 0.2000 0.6333 0.4506 0.1157
427-AH 0.0000 0.2083 0.3000 0.3583 0.4667 0.2817 0.1085 0.1500 0.4667 0.3850 0.1494 0.0002 0.0805 0.0000 0.4667 0.2817 0.1085
428-AH 0.0000 0.0417 0.1333 0.1917 0.2333 0.1183 0.0729 0.1500 0.2333 0.6167 0.0572 0.0002 0.0638 0.0000 0.2333 0.1183 0.0729
429-AH 0.0000 0.2667 0.4000 0.5250 0.6333 0.3968 0.1656 0.2583 0.6333 0.4174 0.2719 0.0003 0.1410 0.0000 0.6333 0.3968 0.1656
430-AH 0.0000 0.5000 0.5333 0.6000 0.6000 0.4871 0.1661 0.1000 0.6000 0.3411 0.2425 0.0002 0.0991 0.4000 0.6000 0.5381 0.0527
431-AH 0.0000 0.2083 0.3000 0.4000 0.6333 0.2925 0.1522 0.1917 0.6333 0.5204 0.1787 0.0003 0.1222 0.0000 0.6333 0.2925 0.1522
432-AH 0.0000 0.2667 0.2667 0.3000 0.3667 0.2667 0.0834 0.0333 0.3667 0.3129 0.1454 0.0002 0.0495 0.2333 0.3333 0.2819 0.0311
433-AH 0.6000 0.7750 0.9000 0.9250 1.0000 0.8505 0.1064 0.1500 0.4000 0.1251 0.8436 0.8361 0.0896 0.6000 1.0000 0.8505 0.1064
434-AH 0.2333 0.5083 0.9000 0.9583 1.0000 0.7581 0.2534 0.4500 0.7667 0.3343 0.7017 0.6282 0.2197 0.2333 1.0000 0.7581 0.2534
435-AH 0.5333 0.7417 0.8333 0.9000 0.9667 0.8065 0.1215 0.1583 0.4333 0.1507 0.7965 0.7855 0.0975 0.5333 0.9667 0.8065 0.1215
436-AH 0.0000 0.1333 0.3000 0.4000 0.5333 0.2591 0.1666 0.2667 0.5333 0.6429 0.0873 0.0001 0.1383 0.0000 0.5333 0.2591 0.1666
437-AH 0.2667 0.5000 0.7667 0.8583 0.9667 0.6849 0.1996 0.3583 0.7000 0.2914 0.6521 0.6147 0.1766 0.2667 0.9667 0.6849 0.1996
438-AH 0.0667 0.1000 0.1333 0.2000 0.4333 0.1634 0.0875 0.1000 0.3667 0.5354 0.1435 0.1263 0.0674 0.0667 0.2667 0.1471 0.0621
439-AH 0.0000 0.0667 0.1333 0.2000 0.3333 0.1355 0.0886 0.1333 0.3333 0.6538 0.0400 0.0001 0.0693 0.0000 0.3333 0.1355 0.0886
440-AH 0.0000 0.1750 0.2667 0.3000 0.4667 0.2527 0.0961 0.1250 0.4667 0.3805 0.1787 0.0003 0.0703 0.0000 0.4667 0.2527 0.0961
441-AH 0.0333 0.1083 0.1667 0.2000 0.2333 0.1581 0.0608 0.0917 0.2000 0.3849 0.1428 0.1233 0.0514 0.0333 0.2333 0.1581 0.0608
442-AH 0.1333 0.2333 0.2667 0.2667 0.4000 0.2677 0.0548 0.0333 0.2667 0.2045 0.2625 0.2570 0.0319 0.2000 0.3000 0.2551 0.0210
443-AH 0.2667 0.5333 0.5667 0.6000 0.7333 0.5548 0.1147 0.0667 0.4667 0.2067 0.5407 0.5232 0.0813 0.4667 0.7000 0.5861 0.0471
444-AH 0.2000 0.2667 0.3000 0.3333 0.4000 0.3011 0.0498 0.0667 0.2000 0.1654 0.2971 0.2930 0.0379 0.2000 0.4000 0.3011 0.0498
445-AH 0.0000 0.1000 0.1333 0.1333 0.1333 0.1054 0.0386 0.0333 0.1333 0.3661 0.0594 0.0002 0.0289 0.0667 0.1333 0.1155 0.0231
446-AH 0.0667 0.1667 0.2000 0.2667 0.3667 0.2108 0.0712 0.1000 0.3000 0.3377 0.1980 0.1837 0.0606 0.0667 0.3667 0.2108 0.0712
447-AH 0.1667 0.2000 0.2000 0.2000 0.2000 0.1989 0.0060 0.0000 0.0333 0.0301 0.1988 0.1987 0.0021 0.2000 0.2000 0.2000 0.0000
448-AH 0.0333 0.1000 0.1333 0.1333 0.1333 0.1043 0.0392 0.0333 0.1000 0.3758 0.0934 0.0790 0.0318 0.0667 0.1333 0.1213 0.0190
449-AH 0.1667 0.2417 0.4667 0.5917 0.8000 0.4548 0.2047 0.3500 0.6333 0.4500 0.4079 0.3625 0.1743 0.1667 0.8000 0.4548 0.2047
450-AH 0.1000 0.3000 0.4667 0.5667 0.6000 0.4140 0.1673 0.2667 0.5000 0.4041 0.3702 0.3145 0.1490 0.1000 0.6000 0.4140 0.1673
139
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0300 0.0500 0.0500 0.0500 0.0600 0.0500 0.0068 0.0000 0.0300 0.1366 0.0495 0.0489 0.0039 0.0500 0.0500 0.0500 0.0000
402-AH 0.0000 0.3325 0.4100 0.4300 0.5000 0.3655 0.1175 0.0975 0.5000 0.3216 0.2579 0.0003 0.0881 0.1900 0.5000 0.3862 0.0872
403-AH 0.0000 0.1400 0.1600 0.2050 0.2900 0.1677 0.0607 0.0650 0.2900 0.3619 0.1206 0.0003 0.0427 0.0500 0.2900 0.1733 0.0530
404-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
405-AH 0.0800 0.1425 0.1800 0.2000 0.2100 0.1710 0.0326 0.0575 0.1300 0.1906 0.1674 0.1631 0.0267 0.0800 0.2100 0.1710 0.0326
406-AH 0.0300 0.0800 0.1000 0.1300 0.1500 0.1023 0.0305 0.0500 0.1200 0.2984 0.0971 0.0907 0.0262 0.0300 0.1500 0.1023 0.0305
407-AH 0.0500 0.1800 0.1800 0.2200 0.2300 0.1881 0.0401 0.0400 0.1800 0.2133 0.1821 0.1721 0.0303 0.1400 0.2300 0.1927 0.0314
408-AH 0.0200 0.1375 0.1700 0.1800 0.1800 0.1461 0.0537 0.0425 0.1600 0.3675 0.1285 0.0999 0.0425 0.1300 0.1800 0.1712 0.0136
409-AH 0.0700 0.1725 0.1900 0.1900 0.1900 0.1755 0.0258 0.0175 0.1200 0.1470 0.1728 0.1687 0.0170 0.1600 0.1900 0.1825 0.0108
410-AH 0.0200 0.4125 0.4300 0.4300 0.4400 0.4110 0.0735 0.0175 0.4200 0.1790 0.3841 0.2566 0.0276 0.4000 0.4400 0.4240 0.0122
411-AH 0.0100 0.0500 0.0600 0.0775 0.1000 0.0606 0.0200 0.0275 0.0900 0.3296 0.0562 0.0489 0.0144 0.0100 0.1000 0.0606 0.0200
412-AH 0.0000 0.0325 0.0600 0.1275 0.1800 0.0774 0.0532 0.0950 0.1800 0.6875 0.0463 0.0003 0.0462 0.0000 0.1800 0.0774 0.0532
413-AH 0.0300 0.1100 0.1200 0.1275 0.1500 0.1094 0.0276 0.0175 0.1200 0.2520 0.1042 0.0962 0.0191 0.0900 0.1500 0.1200 0.0113
414-AH 0.0100 0.0400 0.0400 0.0400 0.0400 0.0371 0.0074 0.0000 0.0300 0.1992 0.0359 0.0338 0.0049 0.0400 0.0400 0.0400 0.0000
415-AH 0.0000 0.2325 0.3200 0.3400 0.4300 0.2855 0.0977 0.1075 0.4300 0.3422 0.2015 0.0003 0.0758 0.1300 0.4300 0.2950 0.0835
416-AH 0.0900 0.2800 0.2900 0.3100 0.3200 0.2881 0.0414 0.0300 0.2300 0.1438 0.2830 0.2735 0.0226 0.2500 0.3200 0.2947 0.0194
417-AH 0.0700 0.1400 0.1900 0.2875 0.3800 0.2023 0.0909 0.1475 0.3100 0.4493 0.1805 0.1581 0.0749 0.0700 0.3800 0.2023 0.0909
418-AH 0.0600 0.1400 0.1400 0.1400 0.1400 0.1352 0.0188 0.0000 0.0800 0.1389 0.1332 0.1302 0.0091 0.1400 0.1400 0.1400 0.0000
419-AH 0.0700 0.2200 0.2300 0.2300 0.2300 0.2161 0.0349 0.0100 0.1600 0.1615 0.2116 0.2039 0.0204 0.2100 0.2300 0.2274 0.0059
420-AH 0.0000 0.1375 0.2600 0.3175 0.3900 0.2394 0.1024 0.1800 0.3900 0.4278 0.1623 0.0003 0.0815 0.0000 0.3900 0.2394 0.1024
421-AH 0.0200 0.0700 0.0800 0.1100 0.1200 0.0855 0.0235 0.0400 0.1000 0.2749 0.0814 0.0753 0.0196 0.0200 0.1200 0.0855 0.0235
422-AH 0.0000 0.0800 0.0900 0.1375 0.2100 0.1029 0.0484 0.0575 0.2100 0.4702 0.0566 0.0002 0.0378 0.0000 0.2100 0.1029 0.0484
423-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0084 0.0037 0.0000 0.0100 0.4458 0.0033 0.0001 0.0027 0.0100 0.0100 0.0100 0.0000
424-AH 0.0100 0.0200 0.0200 0.0300 0.0400 0.0245 0.0085 0.0100 0.0300 0.3467 0.0229 0.0210 0.0072 0.0100 0.0400 0.0245 0.0085
425-AH 0.0300 0.0700 0.1400 0.1875 0.2300 0.1345 0.0632 0.1175 0.2000 0.4697 0.1174 0.0989 0.0534 0.0300 0.2300 0.1345 0.0632
426-AH 0.0200 0.2925 0.3500 0.4100 0.4500 0.3248 0.1025 0.1175 0.4300 0.3154 0.2929 0.2064 0.0786 0.1400 0.4500 0.3431 0.0760
427-AH 0.0000 0.1500 0.1600 0.1600 0.1600 0.1426 0.0401 0.0100 0.1600 0.2811 0.0816 0.0002 0.0225 0.1400 0.1600 0.1552 0.0070
428-AH 0.0200 0.0200 0.0500 0.0800 0.1000 0.0523 0.0284 0.0600 0.0800 0.5428 0.0442 0.0370 0.0246 0.0200 0.1000 0.0523 0.0284
429-AH 0.0000 0.1800 0.2500 0.3300 0.3700 0.2439 0.0865 0.1500 0.3700 0.3547 0.1740 0.0003 0.0734 0.0000 0.3700 0.2439 0.0865
430-AH 0.0000 0.1900 0.2000 0.2200 0.2800 0.1887 0.0649 0.0300 0.2800 0.3439 0.1011 0.0002 0.0370 0.1700 0.2400 0.2056 0.0203
431-AH 0.0100 0.0900 0.1400 0.1500 0.2000 0.1210 0.0486 0.0600 0.1900 0.4018 0.1014 0.0639 0.0388 0.0100 0.2000 0.1210 0.0486
432-AH 0.0000 0.1325 0.1800 0.1900 0.2100 0.1616 0.0520 0.0575 0.2100 0.3216 0.0907 0.0002 0.0366 0.1100 0.2100 0.1728 0.0300
433-AH 0.5300 0.7925 0.8500 0.8800 0.9000 0.8290 0.0713 0.0875 0.3700 0.0860 0.8255 0.8213 0.0496 0.7600 0.9000 0.8390 0.0455
434-AH 0.4200 0.5125 0.6800 0.7900 0.9500 0.6700 0.1569 0.2775 0.5300 0.2342 0.6519 0.6339 0.1316 0.4200 0.9500 0.6700 0.1569
435-AH 0.3600 0.5500 0.6600 0.7200 0.7600 0.6190 0.1199 0.1700 0.4000 0.1937 0.6062 0.5917 0.1018 0.3600 0.7600 0.6190 0.1199
436-AH 0.0000 0.0700 0.2000 0.2850 0.3500 0.1800 0.1154 0.2150 0.3500 0.6412 0.0958 0.0003 0.0987 0.0000 0.3500 0.1800 0.1154
437-AH 0.2200 0.4925 0.6700 0.7200 0.8000 0.6171 0.1346 0.2275 0.5800 0.2182 0.5993 0.5758 0.1156 0.2200 0.8000 0.6171 0.1346
438-AH 0.0300 0.0950 0.1500 0.1850 0.2300 0.1368 0.0639 0.0900 0.2000 0.4672 0.1144 0.0861 0.0517 0.0300 0.2300 0.1368 0.0639
439-AH 0.0000 0.0525 0.1000 0.1600 0.2000 0.1087 0.0638 0.1075 0.2000 0.5865 0.0647 0.0003 0.0554 0.0000 0.2000 0.1087 0.0638
440-AH 0.0000 0.0850 0.1100 0.1400 0.1600 0.1126 0.0360 0.0550 0.1600 0.3194 0.0830 0.0003 0.0285 0.0500 0.1600 0.1163 0.0298
441-AH 0.0300 0.0600 0.0600 0.0700 0.0900 0.0642 0.0123 0.0100 0.0600 0.1919 0.0629 0.0614 0.0093 0.0500 0.0800 0.0654 0.0088
442-AH 0.0700 0.0800 0.0900 0.0900 0.1200 0.0903 0.0145 0.0100 0.0500 0.1604 0.0893 0.0884 0.0096 0.0700 0.0900 0.0846 0.0065
443-AH 0.1600 0.2525 0.2800 0.3300 0.3700 0.2794 0.0590 0.0775 0.2100 0.2114 0.2727 0.2653 0.0454 0.1600 0.3700 0.2794 0.0590
444-AH 0.0800 0.1700 0.1800 0.1900 0.2100 0.1771 0.0252 0.0200 0.1300 0.1422 0.1748 0.1716 0.0162 0.1600 0.2100 0.1836 0.0134
445-AH 0.0000 0.0300 0.0400 0.0400 0.0400 0.0339 0.0109 0.0100 0.0400 0.3205 0.0210 0.0002 0.0079 0.0200 0.0400 0.0362 0.0062
446-AH 0.0500 0.0600 0.0900 0.1000 0.1200 0.0858 0.0222 0.0400 0.0700 0.2585 0.0828 0.0797 0.0194 0.0500 0.1200 0.0858 0.0222
447-AH 0.0500 0.0600 0.0600 0.0600 0.0600 0.0597 0.0018 0.0000 0.0100 0.0301 0.0596 0.0596 0.0006 0.0600 0.0600 0.0600 0.0000
448-AH 0.0300 0.0400 0.0400 0.0400 0.0400 0.0377 0.0043 0.0000 0.0100 0.1126 0.0375 0.0372 0.0035 0.0400 0.0400 0.0400 0.0000
449-AH 0.1000 0.1375 0.2400 0.2500 0.4500 0.2413 0.1078 0.1125 0.3500 0.4466 0.2185 0.1974 0.0820 0.1000 0.4100 0.2207 0.0914
450-AH 0.0600 0.1450 0.2300 0.3100 0.3900 0.2310 0.0931 0.1650 0.3300 0.4033 0.2078 0.1801 0.0784 0.0600 0.3900 0.2310 0.0931
140
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0200 0.0250 0.0300 0.0300 0.0300 0.0274 0.0036 0.0050 0.0100 0.1321 0.0272 0.0269 0.0032 0.0200 0.0300 0.0274 0.0036
402-AH 0.0000 0.1925 0.2300 0.2475 0.2900 0.2131 0.0637 0.0550 0.2900 0.2989 0.1542 0.0003 0.0441 0.1150 0.2900 0.2253 0.0429
403-AH 0.0050 0.1050 0.1100 0.1338 0.1900 0.1166 0.0398 0.0288 0.1850 0.3413 0.1037 0.0645 0.0277 0.0750 0.1700 0.1163 0.0232
404-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
405-AH 0.0500 0.0900 0.1000 0.1050 0.1050 0.0937 0.0140 0.0150 0.0550 0.1490 0.0924 0.0908 0.0102 0.0700 0.1050 0.0966 0.0089
406-AH 0.0150 0.0500 0.0650 0.0750 0.0900 0.0642 0.0158 0.0250 0.0750 0.2464 0.0616 0.0573 0.0129 0.0150 0.0900 0.0642 0.0158
407-AH 0.0400 0.0962 0.1050 0.1150 0.1150 0.1027 0.0160 0.0188 0.0750 0.1553 0.1011 0.0986 0.0115 0.0850 0.1150 0.1048 0.0111
408-AH 0.0250 0.0850 0.0900 0.0900 0.0900 0.0760 0.0254 0.0050 0.0650 0.3345 0.0693 0.0598 0.0201 0.0850 0.0900 0.0890 0.0021
409-AH 0.0400 0.0913 0.0950 0.0950 0.0950 0.0916 0.0102 0.0037 0.0550 0.1113 0.0908 0.0894 0.0050 0.0900 0.0950 0.0941 0.0020
410-AH 0.0200 0.2300 0.2350 0.2350 0.2350 0.2239 0.0385 0.0050 0.2150 0.1718 0.2131 0.1720 0.0154 0.2250 0.2350 0.2331 0.0029
411-AH 0.0050 0.0350 0.0400 0.0450 0.0500 0.0389 0.0088 0.0100 0.0450 0.2270 0.0369 0.0318 0.0057 0.0200 0.0500 0.0400 0.0063
412-AH 0.0000 0.0250 0.0550 0.0838 0.0900 0.0524 0.0299 0.0587 0.0900 0.5712 0.0339 0.0003 0.0262 0.0000 0.0900 0.0524 0.0299
413-AH 0.0200 0.0600 0.0700 0.0750 0.0750 0.0640 0.0153 0.0150 0.0550 0.2389 0.0614 0.0573 0.0112 0.0450 0.0750 0.0682 0.0084
414-AH 0.0100 0.0200 0.0200 0.0200 0.0200 0.0189 0.0028 0.0000 0.0100 0.1485 0.0186 0.0182 0.0019 0.0200 0.0200 0.0200 0.0000
415-AH 0.0050 0.1900 0.2100 0.2400 0.2750 0.2053 0.0541 0.0500 0.2700 0.2633 0.1839 0.0888 0.0358 0.1300 0.2750 0.2164 0.0325
416-AH 0.0650 0.1550 0.1600 0.1600 0.1650 0.1547 0.0182 0.0050 0.1000 0.1177 0.1530 0.1504 0.0086 0.1500 0.1650 0.1593 0.0042
417-AH 0.0450 0.0788 0.1350 0.2150 0.3000 0.1505 0.0800 0.1363 0.2550 0.5315 0.1270 0.1033 0.0670 0.0450 0.3000 0.1505 0.0800
418-AH 0.0300 0.0700 0.0700 0.0700 0.0700 0.0677 0.0088 0.0000 0.0400 0.1304 0.0669 0.0656 0.0042 0.0700 0.0700 0.0700 0.0000
419-AH 0.0550 0.1150 0.1150 0.1150 0.1150 0.1116 0.0116 0.0000 0.0600 0.1043 0.1108 0.1095 0.0059 0.1150 0.1150 0.1150 0.0000
420-AH 0.0200 0.0900 0.1700 0.1937 0.2200 0.1511 0.0560 0.1037 0.2000 0.3707 0.1360 0.1120 0.0460 0.0200 0.2200 0.1511 0.0560
421-AH 0.0100 0.0350 0.0550 0.0587 0.0600 0.0474 0.0126 0.0237 0.0500 0.2666 0.0451 0.0413 0.0109 0.0100 0.0600 0.0474 0.0126
422-AH 0.0000 0.0600 0.0700 0.1050 0.1400 0.0766 0.0325 0.0450 0.1400 0.4248 0.0439 0.0002 0.0249 0.0000 0.1400 0.0766 0.0325
423-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0045 0.0015 0.0000 0.0050 0.3327 0.0027 0.0001 0.0009 0.0050 0.0050 0.0050 0.0000
424-AH 0.0100 0.0100 0.0150 0.0200 0.0250 0.0155 0.0049 0.0100 0.0150 0.3159 0.0147 0.0140 0.0041 0.0100 0.0250 0.0155 0.0049
425-AH 0.0250 0.0900 0.1150 0.1450 0.1650 0.1137 0.0346 0.0550 0.1400 0.3046 0.1069 0.0970 0.0285 0.0250 0.1650 0.1137 0.0346
426-AH 0.0200 0.1600 0.2850 0.3100 0.3650 0.2392 0.0943 0.1500 0.3450 0.3944 0.2113 0.1594 0.0845 0.0200 0.3650 0.2392 0.0943
427-AH 0.0000 0.0750 0.0800 0.0800 0.0800 0.0727 0.0199 0.0050 0.0800 0.2731 0.0436 0.0002 0.0104 0.0700 0.0800 0.0784 0.0027
428-AH 0.0100 0.0300 0.0300 0.0438 0.0500 0.0335 0.0115 0.0138 0.0400 0.3425 0.0314 0.0288 0.0091 0.0100 0.0500 0.0335 0.0115
429-AH 0.0050 0.1100 0.1750 0.2000 0.2300 0.1598 0.0534 0.0900 0.2250 0.3340 0.1417 0.0780 0.0460 0.0050 0.2300 0.1598 0.0534
430-AH 0.0000 0.0950 0.1050 0.1300 0.1500 0.1055 0.0343 0.0350 0.1500 0.3248 0.0740 0.0003 0.0221 0.0500 0.1500 0.1126 0.0212
431-AH 0.0050 0.0650 0.0750 0.0800 0.1000 0.0690 0.0237 0.0150 0.0950 0.3430 0.0592 0.0363 0.0159 0.0600 0.1000 0.0772 0.0095
432-AH 0.0000 0.0763 0.0950 0.1000 0.1100 0.0869 0.0273 0.0237 0.1100 0.3139 0.0509 0.0002 0.0192 0.0600 0.1100 0.0929 0.0149
433-AH 0.5200 0.7012 0.7250 0.7762 0.8250 0.7277 0.0620 0.0750 0.3050 0.0852 0.7250 0.7219 0.0464 0.6250 0.8250 0.7347 0.0494
434-AH 0.2550 0.3175 0.4350 0.4787 0.5450 0.4200 0.0923 0.1612 0.2900 0.2197 0.4097 0.3992 0.0803 0.2550 0.5450 0.4200 0.0923
435-AH 0.2550 0.3400 0.4300 0.4688 0.4850 0.4077 0.0698 0.1287 0.2300 0.1711 0.4014 0.3945 0.0599 0.2550 0.4850 0.4077 0.0698
436-AH 0.0000 0.0650 0.1750 0.2200 0.2550 0.1450 0.0850 0.1550 0.2550 0.5865 0.0828 0.0003 0.0768 0.0000 0.2550 0.1450 0.0850
437-AH 0.2450 0.3650 0.5300 0.5737 0.6300 0.4792 0.1162 0.2087 0.3850 0.2425 0.4635 0.4460 0.1013 0.2450 0.6300 0.4792 0.1162
438-AH 0.0300 0.0950 0.1150 0.1200 0.1400 0.0994 0.0347 0.0250 0.1100 0.3496 0.0905 0.0786 0.0273 0.0800 0.1400 0.1148 0.0149
439-AH 0.0000 0.0550 0.0750 0.1200 0.1450 0.0848 0.0422 0.0650 0.1450 0.4979 0.0566 0.0003 0.0366 0.0000 0.1450 0.0848 0.0422
440-AH 0.0250 0.0525 0.0750 0.0750 0.0900 0.0665 0.0163 0.0225 0.0650 0.2459 0.0641 0.0612 0.0137 0.0250 0.0900 0.0665 0.0163
441-AH 0.0150 0.0300 0.0350 0.0400 0.0450 0.0352 0.0064 0.0100 0.0300 0.1817 0.0345 0.0336 0.0047 0.0150 0.0450 0.0352 0.0064
442-AH 0.0350 0.0400 0.0450 0.0450 0.0600 0.0456 0.0069 0.0050 0.0250 0.1516 0.0452 0.0448 0.0046 0.0350 0.0450 0.0429 0.0029
443-AH 0.0900 0.1550 0.1650 0.1850 0.2100 0.1635 0.0295 0.0300 0.1200 0.1806 0.1606 0.1571 0.0221 0.1250 0.2100 0.1705 0.0210
444-AH 0.0500 0.1013 0.1100 0.1150 0.1200 0.1066 0.0137 0.0138 0.0700 0.1289 0.1055 0.1039 0.0093 0.0900 0.1200 0.1085 0.0090
445-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0171 0.0054 0.0050 0.0200 0.3184 0.0111 0.0002 0.0039 0.0100 0.0200 0.0183 0.0031
446-AH 0.0300 0.0450 0.0500 0.0550 0.0600 0.0508 0.0076 0.0100 0.0300 0.1505 0.0502 0.0495 0.0060 0.0350 0.0600 0.0515 0.0067
447-AH 0.0250 0.0300 0.0300 0.0300 0.0300 0.0298 0.0009 0.0000 0.0050 0.0301 0.0298 0.0298 0.0003 0.0300 0.0300 0.0300 0.0000
448-AH 0.0150 0.0200 0.0200 0.0200 0.0200 0.0197 0.0012 0.0000 0.0050 0.0635 0.0196 0.0196 0.0006 0.0200 0.0200 0.0200 0.0000
449-AH 0.0600 0.1013 0.1500 0.1750 0.2550 0.1502 0.0553 0.0737 0.1950 0.3685 0.1397 0.1292 0.0457 0.0600 0.2550 0.1502 0.0553
450-AH 0.0400 0.1113 0.1400 0.1788 0.2300 0.1435 0.0539 0.0675 0.1900 0.3757 0.1317 0.1178 0.0446 0.0400 0.2300 0.1435 0.0539
141
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0100 0.0120 0.0120 0.0120 0.0120 0.0116 0.0008 0.0000 0.0020 0.0692 0.0116 0.0116 0.0006 0.0120 0.0120 0.0120 0.0000
402-AH 0.0000 0.1000 0.1040 0.1160 0.1180 0.1008 0.0224 0.0160 0.1180 0.2227 0.0767 0.0003 0.0128 0.0820 0.1180 0.1055 0.0103
403-AH 0.0180 0.0560 0.0720 0.0820 0.1040 0.0706 0.0206 0.0260 0.0860 0.2922 0.0666 0.0606 0.0160 0.0180 0.1040 0.0706 0.0206
404-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
405-AH 0.0220 0.0400 0.0420 0.0420 0.0420 0.0398 0.0050 0.0020 0.0200 0.1253 0.0394 0.0389 0.0031 0.0380 0.0420 0.0413 0.0015
406-AH 0.0080 0.0280 0.0340 0.0360 0.0400 0.0322 0.0068 0.0080 0.0320 0.2100 0.0311 0.0293 0.0051 0.0200 0.0400 0.0330 0.0051
407-AH 0.0220 0.0460 0.0460 0.0460 0.0460 0.0443 0.0047 0.0000 0.0240 0.1062 0.0440 0.0435 0.0026 0.0460 0.0460 0.0460 0.0000
408-AH 0.0240 0.0345 0.0360 0.0360 0.0360 0.0336 0.0044 0.0015 0.0120 0.1307 0.0333 0.0329 0.0036 0.0340 0.0360 0.0359 0.0004
409-AH 0.0240 0.0380 0.0380 0.0380 0.0380 0.0374 0.0025 0.0000 0.0140 0.0679 0.0373 0.0372 0.0010 0.0380 0.0380 0.0380 0.0000
410-AH 0.0240 0.0940 0.0940 0.0940 0.0940 0.0916 0.0126 0.0000 0.0700 0.1371 0.0898 0.0858 0.0044 0.0940 0.0940 0.0940 0.0000
411-AH 0.0040 0.0180 0.0200 0.0200 0.0200 0.0185 0.0031 0.0020 0.0160 0.1672 0.0179 0.0168 0.0019 0.0160 0.0200 0.0189 0.0016
412-AH 0.0080 0.0160 0.0320 0.0380 0.0420 0.0286 0.0114 0.0220 0.0340 0.3992 0.0258 0.0226 0.0100 0.0080 0.0420 0.0286 0.0114
413-AH 0.0100 0.0280 0.0300 0.0300 0.0300 0.0277 0.0050 0.0020 0.0200 0.1800 0.0270 0.0260 0.0030 0.0260 0.0300 0.0292 0.0013
414-AH 0.0040 0.0080 0.0080 0.0080 0.0080 0.0077 0.0009 0.0000 0.0040 0.1104 0.0077 0.0076 0.0005 0.0080 0.0080 0.0080 0.0000
415-AH 0.0120 0.0860 0.1100 0.1160 0.1320 0.1015 0.0234 0.0300 0.1200 0.2301 0.0962 0.0819 0.0173 0.0620 0.1320 0.1045 0.0167
416-AH 0.0480 0.0620 0.0660 0.0660 0.0660 0.0639 0.0036 0.0040 0.0180 0.0562 0.0638 0.0637 0.0023 0.0580 0.0660 0.0645 0.0021
417-AH 0.0300 0.0370 0.0740 0.1380 0.1600 0.0907 0.0475 0.1010 0.1300 0.5232 0.0766 0.0625 0.0420 0.0300 0.1600 0.0907 0.0475
418-AH 0.0200 0.0280 0.0280 0.0280 0.0280 0.0275 0.0020 0.0000 0.0080 0.0727 0.0274 0.0273 0.0010 0.0280 0.0280 0.0280 0.0000
419-AH 0.0300 0.0460 0.0460 0.0460 0.0460 0.0454 0.0029 0.0000 0.0160 0.0635 0.0453 0.0452 0.0011 0.0460 0.0460 0.0460 0.0000
420-AH 0.0180 0.0645 0.0800 0.0850 0.0920 0.0737 0.0165 0.0205 0.0740 0.2245 0.0709 0.0662 0.0127 0.0360 0.0920 0.0755 0.0131
421-AH 0.0080 0.0170 0.0220 0.0240 0.0240 0.0205 0.0045 0.0070 0.0160 0.2194 0.0199 0.0191 0.0037 0.0080 0.0240 0.0205 0.0045
422-AH 0.0000 0.0505 0.0540 0.0615 0.0820 0.0516 0.0173 0.0110 0.0820 0.3349 0.0375 0.0003 0.0112 0.0380 0.0720 0.0559 0.0082
423-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0019 0.0004 0.0000 0.0020 0.1856 0.0017 0.0003 0.0001 0.0020 0.0020 0.0020 0.0000
424-AH 0.0040 0.0060 0.0080 0.0100 0.0100 0.0075 0.0020 0.0040 0.0060 0.2712 0.0072 0.0069 0.0017 0.0040 0.0100 0.0075 0.0020
425-AH 0.0200 0.0600 0.0640 0.0680 0.0720 0.0626 0.0106 0.0080 0.0520 0.1700 0.0612 0.0589 0.0067 0.0600 0.0720 0.0655 0.0046
426-AH 0.0100 0.0840 0.1780 0.2035 0.2220 0.1485 0.0622 0.1195 0.2120 0.4191 0.1293 0.0925 0.0576 0.0100 0.2220 0.1485 0.0622
427-AH 0.0000 0.0305 0.0320 0.0320 0.0320 0.0294 0.0080 0.0015 0.0320 0.2722 0.0186 0.0002 0.0041 0.0300 0.0320 0.0316 0.0008
428-AH 0.0080 0.0140 0.0160 0.0200 0.0220 0.0162 0.0033 0.0060 0.0140 0.2026 0.0158 0.0154 0.0026 0.0080 0.0220 0.0162 0.0033
429-AH 0.0080 0.0680 0.0940 0.1035 0.1120 0.0858 0.0225 0.0355 0.1040 0.2619 0.0802 0.0648 0.0183 0.0600 0.1120 0.0884 0.0175
430-AH 0.0040 0.0445 0.0480 0.0580 0.0620 0.0481 0.0134 0.0135 0.0580 0.2785 0.0435 0.0311 0.0081 0.0320 0.0620 0.0511 0.0071
431-AH 0.0140 0.0325 0.0340 0.0380 0.0400 0.0332 0.0076 0.0055 0.0260 0.2282 0.0320 0.0302 0.0052 0.0300 0.0400 0.0358 0.0032
432-AH 0.0020 0.0360 0.0420 0.0420 0.0440 0.0380 0.0103 0.0060 0.0420 0.2704 0.0332 0.0180 0.0062 0.0300 0.0440 0.0405 0.0038
433-AH 0.3480 0.4600 0.4780 0.4915 0.5040 0.4712 0.0304 0.0315 0.1560 0.0646 0.4702 0.4689 0.0199 0.4140 0.5040 0.4753 0.0204
434-AH 0.1180 0.1705 0.2000 0.2060 0.2220 0.1870 0.0340 0.0355 0.1040 0.1821 0.1836 0.1797 0.0275 0.1180 0.2220 0.1870 0.0340
435-AH 0.1380 0.1925 0.2060 0.2140 0.2240 0.1983 0.0223 0.0215 0.0860 0.1123 0.1969 0.1953 0.0161 0.1640 0.2240 0.2041 0.0133
436-AH 0.0040 0.0345 0.0960 0.1120 0.1340 0.0790 0.0441 0.0775 0.1300 0.5588 0.0569 0.0278 0.0391 0.0040 0.1340 0.0790 0.0441
437-AH 0.1820 0.2270 0.3000 0.3120 0.3200 0.2735 0.0501 0.0850 0.1380 0.1833 0.2684 0.2627 0.0425 0.1820 0.3200 0.2735 0.0501
438-AH 0.0280 0.0510 0.0580 0.0600 0.0600 0.0519 0.0122 0.0090 0.0320 0.2348 0.0501 0.0478 0.0095 0.0500 0.0600 0.0577 0.0029
439-AH 0.0000 0.0445 0.0600 0.0655 0.0840 0.0535 0.0208 0.0210 0.0840 0.3879 0.0383 0.0003 0.0166 0.0220 0.0840 0.0570 0.0163
440-AH 0.0200 0.0250 0.0320 0.0335 0.0360 0.0297 0.0052 0.0085 0.0160 0.1743 0.0293 0.0287 0.0042 0.0200 0.0360 0.0297 0.0052
441-AH 0.0120 0.0140 0.0160 0.0175 0.0180 0.0155 0.0018 0.0035 0.0060 0.1137 0.0155 0.0154 0.0015 0.0120 0.0180 0.0155 0.0018
442-AH 0.0160 0.0180 0.0180 0.0180 0.0240 0.0185 0.0026 0.0000 0.0080 0.1394 0.0184 0.0182 0.0018 0.0180 0.0180 0.0180 0.0000
443-AH 0.0400 0.0720 0.0740 0.0815 0.0840 0.0731 0.0118 0.0095 0.0440 0.1611 0.0719 0.0704 0.0077 0.0680 0.0840 0.0765 0.0055
444-AH 0.0300 0.0500 0.0500 0.0500 0.0500 0.0487 0.0038 0.0000 0.0200 0.0783 0.0485 0.0483 0.0020 0.0500 0.0500 0.0500 0.0000
445-AH 0.0000 0.0060 0.0080 0.0080 0.0080 0.0069 0.0020 0.0020 0.0080 0.2882 0.0056 0.0003 0.0015 0.0040 0.0080 0.0073 0.0012
446-AH 0.0180 0.0220 0.0220 0.0240 0.0240 0.0221 0.0018 0.0020 0.0060 0.0827 0.0220 0.0219 0.0012 0.0200 0.0240 0.0225 0.0013
447-AH 0.0120 0.0120 0.0120 0.0120 0.0120 0.0120 0.0000 0.0000 0.0000 0.0000 0.0120 0.0120 0.0000 0.0120 0.0120 0.0120 0.0000
448-AH 0.0060 0.0080 0.0080 0.0080 0.0080 0.0079 0.0004 0.0000 0.0020 0.0453 0.0079 0.0079 0.0001 0.0080 0.0080 0.0080 0.0000
449-AH 0.0480 0.0595 0.0800 0.0940 0.1200 0.0800 0.0205 0.0345 0.0720 0.2557 0.0775 0.0750 0.0168 0.0480 0.1200 0.0800 0.0205
450-AH 0.0260 0.0480 0.0760 0.0950 0.1080 0.0712 0.0260 0.0470 0.0820 0.3652 0.0656 0.0590 0.0212 0.0260 0.1080 0.0712 0.0260
142
AH-MONO-CLEF2007 Track Overview Results and Graphs AH-MONO-EN-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0050 0.0060 0.0060 0.0060 0.0060 0.0059 0.0003 0.0000 0.0010 0.0509 0.0059 0.0059 0.0002 0.0060 0.0060 0.0060 0.0000
402-AH 0.0030 0.0540 0.0570 0.0600 0.0610 0.0544 0.0106 0.0060 0.0580 0.1942 0.0509 0.0356 0.0053 0.0510 0.0610 0.0571 0.0030
403-AH 0.0110 0.0348 0.0490 0.0553 0.0610 0.0449 0.0130 0.0205 0.0500 0.2887 0.0424 0.0387 0.0104 0.0110 0.0610 0.0449 0.0130
404-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
405-AH 0.0120 0.0200 0.0210 0.0210 0.0210 0.0202 0.0018 0.0010 0.0090 0.0900 0.0201 0.0200 0.0011 0.0190 0.0210 0.0207 0.0006
406-AH 0.0090 0.0150 0.0190 0.0200 0.0210 0.0176 0.0029 0.0050 0.0120 0.1663 0.0173 0.0170 0.0024 0.0090 0.0210 0.0176 0.0029
407-AH 0.0130 0.0230 0.0230 0.0230 0.0230 0.0225 0.0018 0.0000 0.0100 0.0803 0.0224 0.0223 0.0008 0.0230 0.0230 0.0230 0.0000
408-AH 0.0150 0.0180 0.0180 0.0180 0.0180 0.0173 0.0013 0.0000 0.0030 0.0736 0.0173 0.0172 0.0010 0.0180 0.0180 0.0180 0.0000
409-AH 0.0150 0.0190 0.0190 0.0190 0.0190 0.0188 0.0007 0.0000 0.0040 0.0390 0.0188 0.0188 0.0003 0.0190 0.0190 0.0190 0.0000
410-AH 0.0170 0.0470 0.0470 0.0470 0.0470 0.0460 0.0054 0.0000 0.0300 0.1171 0.0455 0.0445 0.0019 0.0470 0.0470 0.0470 0.0000
411-AH 0.0020 0.0100 0.0100 0.0100 0.0100 0.0096 0.0015 0.0000 0.0080 0.1519 0.0093 0.0087 0.0007 0.0100 0.0100 0.0100 0.0000
412-AH 0.0070 0.0110 0.0190 0.0220 0.0230 0.0172 0.0052 0.0110 0.0160 0.3054 0.0162 0.0152 0.0046 0.0070 0.0230 0.0172 0.0052
413-AH 0.0080 0.0140 0.0150 0.0150 0.0150 0.0142 0.0018 0.0010 0.0070 0.1266 0.0141 0.0139 0.0011 0.0140 0.0150 0.0147 0.0004
414-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
415-AH 0.0110 0.0532 0.0620 0.0640 0.0690 0.0586 0.0105 0.0108 0.0580 0.1783 0.0568 0.0522 0.0068 0.0510 0.0690 0.0602 0.0057
416-AH 0.0280 0.0320 0.0330 0.0330 0.0330 0.0325 0.0012 0.0010 0.0050 0.0354 0.0325 0.0324 0.0007 0.0320 0.0330 0.0328 0.0004
417-AH 0.0240 0.0280 0.0490 0.0840 0.0940 0.0574 0.0260 0.0560 0.0700 0.4521 0.0512 0.0452 0.0238 0.0240 0.0940 0.0574 0.0260
418-AH 0.0120 0.0140 0.0140 0.0140 0.0140 0.0139 0.0004 0.0000 0.0020 0.0285 0.0139 0.0139 0.0002 0.0140 0.0140 0.0140 0.0000
419-AH 0.0200 0.0230 0.0230 0.0230 0.0230 0.0229 0.0006 0.0000 0.0030 0.0246 0.0229 0.0229 0.0002 0.0230 0.0230 0.0230 0.0000
420-AH 0.0140 0.0340 0.0420 0.0448 0.0460 0.0390 0.0070 0.0107 0.0320 0.1789 0.0382 0.0370 0.0056 0.0310 0.0460 0.0398 0.0053
421-AH 0.0070 0.0110 0.0120 0.0120 0.0120 0.0108 0.0019 0.0010 0.0050 0.1752 0.0106 0.0104 0.0015 0.0100 0.0120 0.0117 0.0005
422-AH 0.0020 0.0350 0.0360 0.0408 0.0580 0.0355 0.0117 0.0058 0.0560 0.3293 0.0313 0.0199 0.0071 0.0270 0.0460 0.0368 0.0045
423-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
424-AH 0.0020 0.0040 0.0040 0.0050 0.0050 0.0042 0.0009 0.0010 0.0030 0.2158 0.0040 0.0039 0.0007 0.0030 0.0050 0.0043 0.0007
425-AH 0.0200 0.0320 0.0350 0.0360 0.0370 0.0340 0.0039 0.0040 0.0170 0.1139 0.0337 0.0334 0.0028 0.0320 0.0370 0.0351 0.0019
426-AH 0.0070 0.0650 0.1130 0.1245 0.1530 0.0983 0.0374 0.0595 0.1460 0.3799 0.0877 0.0647 0.0333 0.0070 0.1530 0.0983 0.0374
427-AH 0.0010 0.0160 0.0160 0.0160 0.0160 0.0149 0.0038 0.0000 0.0150 0.2537 0.0133 0.0081 0.0020 0.0160 0.0160 0.0160 0.0000
428-AH 0.0050 0.0080 0.0090 0.0100 0.0110 0.0089 0.0012 0.0020 0.0060 0.1384 0.0088 0.0087 0.0009 0.0070 0.0110 0.0091 0.0010
429-AH 0.0110 0.0443 0.0520 0.0558 0.0590 0.0494 0.0093 0.0115 0.0480 0.1878 0.0479 0.0449 0.0067 0.0420 0.0590 0.0507 0.0060
430-AH 0.0120 0.0250 0.0260 0.0297 0.0310 0.0261 0.0041 0.0047 0.0190 0.1575 0.0257 0.0252 0.0028 0.0180 0.0310 0.0266 0.0032
431-AH 0.0120 0.0182 0.0190 0.0200 0.0200 0.0186 0.0020 0.0018 0.0080 0.1083 0.0185 0.0183 0.0014 0.0160 0.0200 0.0191 0.0010
432-AH 0.0010 0.0210 0.0210 0.0220 0.0220 0.0200 0.0052 0.0010 0.0210 0.2583 0.0175 0.0092 0.0027 0.0200 0.0220 0.0215 0.0006
433-AH 0.2130 0.2520 0.2540 0.2550 0.2550 0.2519 0.0078 0.0030 0.0420 0.0309 0.2518 0.2517 0.0036 0.2510 0.2550 0.2539 0.0014
434-AH 0.0720 0.0920 0.1020 0.1050 0.1110 0.0977 0.0119 0.0130 0.0390 0.1219 0.0970 0.0962 0.0094 0.0760 0.1110 0.0995 0.0101
435-AH 0.0730 0.1000 0.1090 0.1110 0.1130 0.1045 0.0095 0.0110 0.0400 0.0909 0.1041 0.1035 0.0073 0.0840 0.1130 0.1056 0.0076
436-AH 0.0020 0.0260 0.0610 0.0700 0.0770 0.0490 0.0260 0.0440 0.0750 0.5314 0.0361 0.0177 0.0234 0.0020 0.0770 0.0490 0.0260
437-AH 0.1310 0.1600 0.1640 0.1670 0.1680 0.1619 0.0073 0.0070 0.0370 0.0450 0.1617 0.1615 0.0045 0.1580 0.1680 0.1635 0.0033
438-AH 0.0250 0.0290 0.0300 0.0300 0.0300 0.0294 0.0011 0.0010 0.0050 0.0379 0.0293 0.0293 0.0008 0.0280 0.0300 0.0295 0.0008
439-AH 0.0030 0.0343 0.0380 0.0435 0.0510 0.0353 0.0120 0.0092 0.0480 0.3383 0.0312 0.0219 0.0084 0.0210 0.0510 0.0390 0.0069
440-AH 0.0110 0.0135 0.0160 0.0180 0.0180 0.0158 0.0021 0.0045 0.0070 0.1345 0.0157 0.0155 0.0017 0.0110 0.0180 0.0158 0.0021
441-AH 0.0070 0.0080 0.0090 0.0090 0.0090 0.0086 0.0006 0.0010 0.0020 0.0648 0.0086 0.0086 0.0005 0.0070 0.0090 0.0086 0.0006
442-AH 0.0080 0.0090 0.0090 0.0090 0.0120 0.0093 0.0013 0.0000 0.0040 0.1394 0.0092 0.0091 0.0009 0.0090 0.0090 0.0090 0.0000
443-AH 0.0270 0.0370 0.0400 0.0420 0.0420 0.0386 0.0043 0.0050 0.0150 0.1101 0.0384 0.0381 0.0031 0.0360 0.0420 0.0399 0.0021
444-AH 0.0210 0.0250 0.0250 0.0250 0.0250 0.0249 0.0007 0.0000 0.0040 0.0289 0.0249 0.0248 0.0002 0.0250 0.0250 0.0250 0.0000
445-AH 0.0010 0.0040 0.0040 0.0040 0.0040 0.0036 0.0008 0.0000 0.0030 0.2335 0.0034 0.0032 0.0006 0.0040 0.0040 0.0040 0.0000
446-AH 0.0100 0.0110 0.0120 0.0120 0.0120 0.0115 0.0007 0.0010 0.0020 0.0629 0.0115 0.0115 0.0006 0.0100 0.0120 0.0115 0.0007
447-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
448-AH 0.0030 0.0040 0.0040 0.0040 0.0040 0.0040 0.0002 0.0000 0.0010 0.0453 0.0040 0.0040 0.0001 0.0040 0.0040 0.0040 0.0000
449-AH 0.0300 0.0378 0.0490 0.0518 0.0630 0.0458 0.0098 0.0140 0.0330 0.2131 0.0447 0.0437 0.0082 0.0300 0.0630 0.0458 0.0098
450-AH 0.0130 0.0323 0.0390 0.0513 0.0560 0.0396 0.0127 0.0190 0.0430 0.3209 0.0371 0.0340 0.0100 0.0130 0.0560 0.0396 0.0127
143
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Ad−Hoc Bilingual Bulgarian Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
jhu−apl [Experiment APLBIENBGTD4; MAP 7.33%; Pooled]
90%
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Bulgarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
jhu−apl [Experiment APLBIENBGTD4; MAP 7.33%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Bilingual Bulgarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
jhu−apl [Experiment APLBIENBGTD4; MAP 7.33%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
144
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Ad−Hoc Bilingual Bulgarian Task − Box Plot of the Topics
jhu−apl [Experiment APLBIENBGTD4; MAP 7.33%; Pooled]
Experiments
jhu−apl [Experiment APLBIENBGTD5; MAP 5.85%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
145
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
10.2455/TUKEY_T_TEST.596E01B533CA7E5A0611A4231FFF748F
Ad−Hoc Bilingual Bulgarian Task − Tukey T test with "top group" highlighted
APLBIENBGTD4
Experiments
APLBIENBGTD5
0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.2
arcsin(sqrt(Average Precsion))
146
147
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Ad−Hoc Bilingual Bulgarian Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
jhu−apl [Experiment APLBIENBGTD4; R−Prec 8.26%; Pooled]
90%
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Bulgarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
jhu−apl [Experiment APLBIENBGTD4; R−Prec 8.26%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Bilingual Bulgarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
jhu−apl [Experiment APLBIENBGTD4; R−Prec 8.26%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
148
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Ad−Hoc Bilingual Bulgarian Task − Box Plot of the Topics
jhu−apl [Experiment APLBIENBGTD4; R−Prec 8.26%; Pooled]
Experiments
jhu−apl [Experiment APLBIENBGTD5; R−Prec 6.44%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
149
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Ad−Hoc Bilingual Bulgarian Task − Tukey T test with "top group" highlighted
APLBIENBGTD4
Experiments
APLBIENBGTD5
0.12 0.13 0.14 0.15 0.16 0.17 0.18 0.19 0.2 0.21
arcsin(sqrt(R−Precision))
150
151
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
402-AH 21.00 21.00 21.00 21.00 21.00 21.00 0.00 0.00 0.00 0.00 21.00 21.00 0.00 21.00 21.00 21.00 0.00
403-AH 1.00 1.00 4.50 8.00 8.00 4.50 4.95 7.00 7.00 1.10 2.83 1.78 3.50 1.00 8.00 4.50 4.95
404-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.71 1.00 1.00 1.41 0.00 0.00 0.50 0.00 1.00 0.50 0.71
405-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.71 1.00 1.00 1.41 0.00 0.00 0.50 0.00 1.00 0.50 0.71
406-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
407-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
408-AH 17.00 17.00 22.00 27.00 27.00 22.00 7.07 10.00 10.00 0.32 21.42 20.86 5.00 17.00 27.00 22.00 7.07
409-AH 8.00 8.00 8.50 9.00 9.00 8.50 0.71 1.00 1.00 0.08 8.49 8.47 0.50 8.00 9.00 8.50 0.71
410-AH 10.00 10.00 11.00 12.00 12.00 11.00 1.41 2.00 2.00 0.13 10.95 10.91 1.00 10.00 12.00 11.00 1.41
411-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
412-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
413-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
414-AH 2.00 2.00 5.00 8.00 8.00 5.00 4.24 6.00 6.00 0.85 4.00 3.20 3.00 2.00 8.00 5.00 4.24
415-AH 12.00 12.00 12.50 13.00 13.00 12.50 0.71 1.00 1.00 0.06 12.49 12.48 0.50 12.00 13.00 12.50 0.71
416-AH 54.00 54.00 54.00 54.00 54.00 54.00 0.00 0.00 0.00 0.00 54.00 54.00 0.00 54.00 54.00 54.00 0.00
417-AH 4.00 4.00 5.00 6.00 6.00 5.00 1.41 2.00 2.00 0.28 4.90 4.80 1.00 4.00 6.00 5.00 1.41
418-AH 6.00 6.00 7.00 8.00 8.00 7.00 1.41 2.00 2.00 0.20 6.93 6.86 1.00 6.00 8.00 7.00 1.41
419-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
420-AH 21.00 21.00 21.50 22.00 22.00 21.50 0.71 1.00 1.00 0.03 21.49 21.49 0.50 21.00 22.00 21.50 0.71
421-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00
422-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
423-AH 1.00 1.00 3.00 5.00 5.00 3.00 2.83 4.00 4.00 0.94 2.24 1.67 2.00 1.00 5.00 3.00 2.83
424-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
425-AH 3.00 3.00 4.00 5.00 5.00 4.00 1.41 2.00 2.00 0.35 3.87 3.75 1.00 3.00 5.00 4.00 1.41
426-AH 19.00 19.00 21.00 23.00 23.00 21.00 2.83 4.00 4.00 0.13 20.90 20.81 2.00 19.00 23.00 21.00 2.83
427-AH 10.00 10.00 11.00 12.00 12.00 11.00 1.41 2.00 2.00 0.13 10.95 10.91 1.00 10.00 12.00 11.00 1.41
428-AH 15.00 15.00 15.50 16.00 16.00 15.50 0.71 1.00 1.00 0.05 15.49 15.48 0.50 15.00 16.00 15.50 0.71
429-AH 10.00 10.00 11.00 12.00 12.00 11.00 1.41 2.00 2.00 0.13 10.95 10.91 1.00 10.00 12.00 11.00 1.41
430-AH 13.00 13.00 13.00 13.00 13.00 13.00 0.00 0.00 0.00 0.00 13.00 13.00 0.00 13.00 13.00 13.00 0.00
431-AH 12.00 12.00 12.50 13.00 13.00 12.50 0.71 1.00 1.00 0.06 12.49 12.48 0.50 12.00 13.00 12.50 0.71
432-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
433-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
434-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
435-AH 11.00 11.00 11.00 11.00 11.00 11.00 0.00 0.00 0.00 0.00 11.00 11.00 0.00 11.00 11.00 11.00 0.00
436-AH 12.00 12.00 25.50 39.00 39.00 25.50 19.09 27.00 27.00 0.75 21.63 18.35 13.50 12.00 39.00 25.50 19.09
437-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
438-AH 5.00 5.00 5.50 6.00 6.00 5.50 0.71 1.00 1.00 0.13 5.48 5.45 0.50 5.00 6.00 5.50 0.71
439-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
440-AH 18.00 18.00 18.50 19.00 19.00 18.50 0.71 1.00 1.00 0.04 18.49 18.49 0.50 18.00 19.00 18.50 0.71
441-AH 5.00 5.00 5.50 6.00 6.00 5.50 0.71 1.00 1.00 0.13 5.48 5.45 0.50 5.00 6.00 5.50 0.71
442-AH 22.00 22.00 22.00 22.00 22.00 22.00 0.00 0.00 0.00 0.00 22.00 22.00 0.00 22.00 22.00 22.00 0.00
443-AH 6.00 6.00 13.50 21.00 21.00 13.50 10.61 15.00 15.00 0.79 11.22 9.33 7.50 6.00 21.00 13.50 10.61
444-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
445-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
446-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
447-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.71 1.00 1.00 1.41 0.00 0.00 0.50 0.00 1.00 0.50 0.71
448-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
449-AH 13.00 13.00 13.50 14.00 14.00 13.50 0.71 1.00 1.00 0.05 13.49 13.48 0.50 13.00 14.00 13.50 0.71
450-AH 2.00 2.00 4.00 6.00 6.00 4.00 2.83 4.00 4.00 0.71 3.46 3.00 2.00 2.00 6.00 4.00 2.83
152
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0221 0.0221 0.0224 0.0226 0.0226 0.0224 0.0004 0.0005 0.0005 0.0166 0.0224 0.0224 0.0003 0.0221 0.0226 0.0224 0.0004
403-AH 0.0001 0.0001 0.0027 0.0052 0.0052 0.0027 0.0036 0.0051 0.0051 1.3518 0.0008 0.0002 0.0025 0.0001 0.0052 0.0027 0.0036
404-AH 0.0000 0.0000 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 0.0001 1.4142 0.0000 0.0000 0.0001 0.0000 0.0001 0.0001 0.0001
405-AH 0.0000 0.0000 0.0002 0.0003 0.0003 0.0002 0.0002 0.0003 0.0003 1.4142 0.0001 0.0000 0.0002 0.0000 0.0003 0.0002 0.0002
406-AH 0.0002 0.0002 0.0003 0.0005 0.0005 0.0003 0.0003 0.0004 0.0004 0.7522 0.0003 0.0002 0.0002 0.0002 0.0005 0.0003 0.0003
407-AH 0.0170 0.0170 0.0183 0.0197 0.0197 0.0183 0.0019 0.0027 0.0027 0.1034 0.0183 0.0182 0.0013 0.0170 0.0197 0.0183 0.0019
408-AH 0.0331 0.0331 0.1895 0.3459 0.3459 0.1895 0.2212 0.3128 0.3128 1.1674 0.1070 0.0604 0.1564 0.0331 0.3459 0.1895 0.2212
409-AH 0.0158 0.0158 0.0169 0.0179 0.0179 0.0169 0.0015 0.0021 0.0021 0.0883 0.0168 0.0168 0.0011 0.0158 0.0179 0.0169 0.0015
410-AH 0.3720 0.3720 0.4754 0.5788 0.5788 0.4754 0.1462 0.2068 0.2068 0.3076 0.4640 0.4529 0.1034 0.3720 0.5788 0.4754 0.1462
411-AH 0.0060 0.0060 0.0082 0.0103 0.0103 0.0082 0.0030 0.0043 0.0043 0.3693 0.0079 0.0076 0.0021 0.0060 0.0103 0.0082 0.0030
412-AH 0.0003 0.0003 0.0004 0.0004 0.0004 0.0004 0.0001 0.0001 0.0001 0.1706 0.0004 0.0004 0.0000 0.0003 0.0004 0.0004 0.0001
413-AH 0.0010 0.0010 0.0013 0.0016 0.0016 0.0013 0.0004 0.0005 0.0005 0.2862 0.0013 0.0013 0.0003 0.0010 0.0016 0.0013 0.0004
414-AH 0.0003 0.0003 0.0020 0.0037 0.0037 0.0020 0.0024 0.0034 0.0034 1.1741 0.0011 0.0006 0.0017 0.0003 0.0037 0.0020 0.0024
415-AH 0.0143 0.0143 0.0146 0.0148 0.0148 0.0146 0.0003 0.0004 0.0004 0.0211 0.0146 0.0146 0.0002 0.0143 0.0148 0.0146 0.0003
416-AH 0.3134 0.3134 0.3393 0.3651 0.3651 0.3393 0.0366 0.0517 0.0517 0.1078 0.3383 0.3373 0.0259 0.3134 0.3651 0.3393 0.0366
417-AH 0.0009 0.0009 0.0026 0.0042 0.0042 0.0026 0.0023 0.0033 0.0033 0.8981 0.0020 0.0015 0.0016 0.0009 0.0042 0.0026 0.0023
418-AH 0.0019 0.0019 0.0020 0.0021 0.0021 0.0020 0.0002 0.0002 0.0002 0.0858 0.0020 0.0020 0.0001 0.0019 0.0021 0.0020 0.0002
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0256 0.0256 0.0725 0.1194 0.1194 0.0725 0.0663 0.0938 0.0938 0.9151 0.0552 0.0421 0.0469 0.0256 0.1194 0.0725 0.0663
421-AH 0.0183 0.0183 0.0227 0.0272 0.0272 0.0227 0.0063 0.0089 0.0089 0.2770 0.0223 0.0219 0.0045 0.0183 0.0272 0.0227 0.0063
422-AH 0.0111 0.0111 0.0121 0.0131 0.0131 0.0121 0.0014 0.0020 0.0020 0.1152 0.0120 0.0120 0.0010 0.0111 0.0131 0.0121 0.0014
423-AH 0.0001 0.0001 0.0007 0.0014 0.0014 0.0007 0.0009 0.0013 0.0013 1.2728 0.0003 0.0001 0.0006 0.0001 0.0014 0.0007 0.0009
424-AH 0.0022 0.0022 0.0103 0.0185 0.0185 0.0103 0.0116 0.0164 0.0164 1.1182 0.0063 0.0039 0.0082 0.0022 0.0185 0.0103 0.0116
425-AH 0.0199 0.0199 0.0254 0.0308 0.0308 0.0254 0.0077 0.0108 0.0108 0.3020 0.0248 0.0242 0.0054 0.0199 0.0308 0.0254 0.0077
426-AH 0.0397 0.0397 0.0505 0.0612 0.0612 0.0505 0.0152 0.0215 0.0215 0.3009 0.0493 0.0482 0.0107 0.0397 0.0612 0.0505 0.0152
427-AH 0.0129 0.0129 0.0308 0.0486 0.0486 0.0308 0.0252 0.0357 0.0357 0.8199 0.0251 0.0204 0.0178 0.0129 0.0486 0.0308 0.0252
428-AH 0.0467 0.0467 0.0864 0.1260 0.1260 0.0864 0.0561 0.0793 0.0793 0.6490 0.0767 0.0682 0.0396 0.0467 0.1260 0.0864 0.0561
429-AH 0.0087 0.0087 0.0113 0.0140 0.0140 0.0113 0.0037 0.0053 0.0053 0.3289 0.0110 0.0107 0.0026 0.0087 0.0140 0.0113 0.0037
430-AH 0.0794 0.0794 0.0870 0.0946 0.0946 0.0870 0.0108 0.0153 0.0153 0.1241 0.0867 0.0863 0.0076 0.0794 0.0946 0.0870 0.0108
431-AH 0.0088 0.0088 0.0100 0.0111 0.0111 0.0100 0.0017 0.0024 0.0024 0.1683 0.0099 0.0098 0.0012 0.0088 0.0111 0.0100 0.0017
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0064 0.0064 0.0093 0.0121 0.0121 0.0093 0.0040 0.0057 0.0057 0.4358 0.0088 0.0084 0.0029 0.0064 0.0121 0.0093 0.0040
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0860 0.0860 0.0957 0.1054 0.1054 0.0957 0.0137 0.0194 0.0194 0.1434 0.0952 0.0947 0.0097 0.0860 0.1054 0.0957 0.0137
436-AH 0.0058 0.0058 0.1006 0.1954 0.1954 0.1006 0.1340 0.1895 0.1895 1.3322 0.0338 0.0113 0.0948 0.0058 0.1954 0.1006 0.1340
437-AH 0.0002 0.0002 0.0003 0.0003 0.0003 0.0003 0.0000 0.0001 0.0001 0.1607 0.0003 0.0003 0.0000 0.0002 0.0003 0.0003 0.0000
438-AH 0.0010 0.0010 0.0013 0.0016 0.0016 0.0013 0.0004 0.0006 0.0006 0.3457 0.0012 0.0012 0.0003 0.0010 0.0016 0.0013 0.0004
439-AH 0.0001 0.0001 0.0034 0.0067 0.0067 0.0034 0.0047 0.0066 0.0066 1.3775 0.0008 0.0002 0.0033 0.0001 0.0067 0.0034 0.0047
440-AH 0.0915 0.0915 0.0944 0.0972 0.0972 0.0944 0.0040 0.0057 0.0057 0.0428 0.0943 0.0943 0.0029 0.0915 0.0972 0.0944 0.0040
441-AH 0.0123 0.0123 0.0231 0.0340 0.0340 0.0231 0.0154 0.0218 0.0218 0.6654 0.0204 0.0180 0.0109 0.0123 0.0340 0.0231 0.0154
442-AH 0.5592 0.5592 0.5833 0.6073 0.6073 0.5833 0.0340 0.0481 0.0481 0.0583 0.5828 0.5823 0.0240 0.5592 0.6073 0.5833 0.0340
443-AH 0.0186 0.0186 0.0316 0.0445 0.0445 0.0316 0.0183 0.0258 0.0258 0.5789 0.0288 0.0263 0.0129 0.0186 0.0445 0.0316 0.0183
444-AH 0.0003 0.0003 0.0004 0.0005 0.0005 0.0004 0.0001 0.0001 0.0001 0.2674 0.0004 0.0004 0.0001 0.0003 0.0005 0.0004 0.0001
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0001 0.0001 0.0004 0.0007 0.0007 0.0004 0.0004 0.0006 0.0006 1.0176 0.0003 0.0002 0.0003 0.0001 0.0007 0.0004 0.0004
447-AH 0.0000 0.0000 0.0000 0.0001 0.0001 0.0000 0.0000 0.0001 0.0001 1.4142 0.0000 0.0000 0.0000 0.0000 0.0001 0.0000 0.0000
448-AH 0.7556 0.7556 0.8111 0.8667 0.8667 0.8111 0.0786 0.1111 0.1111 0.0969 0.8092 0.8073 0.0556 0.7556 0.8667 0.8111 0.0786
449-AH 0.0154 0.0154 0.0248 0.0343 0.0343 0.0248 0.0133 0.0188 0.0188 0.5363 0.0230 0.0213 0.0094 0.0154 0.0343 0.0248 0.0133
450-AH 0.0005 0.0005 0.0009 0.0013 0.0013 0.0009 0.0005 0.0008 0.0008 0.6058 0.0008 0.0007 0.0004 0.0005 0.0013 0.0009 0.0005
153
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0323 0.0323 0.0323 0.0323 0.0323 0.0323 0.0000 0.0000 0.0000 0.0000 0.0323 0.0323 0.0000 0.0323 0.0323 0.0323 0.0000
403-AH 0.0000 0.0000 0.0172 0.0345 0.0345 0.0172 0.0244 0.0345 0.0345 1.4142 0.0006 0.0000 0.0172 0.0000 0.0345 0.0172 0.0244
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.1000 0.1000 0.2500 0.4000 0.4000 0.2500 0.2121 0.3000 0.3000 0.8485 0.2000 0.1600 0.1500 0.1000 0.4000 0.2500 0.2121
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.4167 0.4167 0.5000 0.5833 0.5833 0.5000 0.1179 0.1667 0.1667 0.2357 0.4930 0.4861 0.0833 0.4167 0.5833 0.5000 0.1179
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0851 0.0851 0.0851 0.0851 0.0851 0.0851 0.0000 0.0000 0.0000 0.0000 0.0851 0.0851 0.0000 0.0851 0.0851 0.0851 0.0000
416-AH 0.3333 0.3333 0.3611 0.3889 0.3889 0.3611 0.0393 0.0556 0.0556 0.1088 0.3600 0.3590 0.0278 0.3333 0.3889 0.3611 0.0393
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0082 0.0164 0.0164 0.0082 0.0116 0.0164 0.0164 1.4142 0.0004 0.0000 0.0082 0.0000 0.0164 0.0082 0.0116
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0323 0.0323 0.1452 0.2581 0.2581 0.1452 0.1597 0.2258 0.2258 1.0999 0.0912 0.0573 0.1129 0.0323 0.2581 0.1452 0.1597
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0588 0.0588 0.0588 0.0588 0.0588 0.0588 0.0000 0.0000 0.0000 0.0000 0.0588 0.0588 0.0000 0.0588 0.0588 0.0588 0.0000
426-AH 0.0417 0.0417 0.0833 0.1250 0.1250 0.0833 0.0589 0.0833 0.0833 0.7071 0.0722 0.0625 0.0417 0.0417 0.1250 0.0833 0.0589
427-AH 0.0000 0.0000 0.0357 0.0714 0.0714 0.0357 0.0505 0.0714 0.0714 1.4142 0.0008 0.0000 0.0357 0.0000 0.0714 0.0357 0.0505
428-AH 0.0556 0.0556 0.1111 0.1667 0.1667 0.1111 0.0786 0.1111 0.1111 0.7071 0.0962 0.0833 0.0556 0.0556 0.1667 0.1111 0.0786
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.1724 0.1724 0.1724 0.1724 0.1724 0.1724 0.0000 0.0000 0.0000 0.0000 0.1724 0.1724 0.0000 0.1724 0.1724 0.1724 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0417 0.0833 0.0833 0.0417 0.0589 0.0833 0.0833 1.4142 0.0009 0.0000 0.0417 0.0000 0.0833 0.0417 0.0589
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0833 0.0833 0.0833 0.0833 0.0833 0.0833 0.0000 0.0000 0.0000 0.0000 0.0833 0.0833 0.0000 0.0833 0.0833 0.0833 0.0000
436-AH 0.0000 0.0000 0.1125 0.2250 0.2250 0.1125 0.1591 0.2250 0.2250 1.4142 0.0015 0.0000 0.1125 0.0000 0.2250 0.1125 0.1591
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0294 0.0588 0.0588 0.0294 0.0416 0.0588 0.0588 1.4142 0.0008 0.0000 0.0294 0.0000 0.0588 0.0294 0.0416
440-AH 0.0909 0.0909 0.0909 0.0909 0.0909 0.0909 0.0000 0.0000 0.0000 0.0000 0.0909 0.0909 0.0000 0.0909 0.0909 0.0909 0.0000
441-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
442-AH 0.5909 0.5909 0.6136 0.6364 0.6364 0.6136 0.0321 0.0455 0.0455 0.0524 0.6132 0.6128 0.0227 0.5909 0.6364 0.6136 0.0321
443-AH 0.0870 0.0870 0.0870 0.0870 0.0870 0.0870 0.0000 0.0000 0.0000 0.0000 0.0870 0.0870 0.0000 0.0870 0.0870 0.0870 0.0000
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
449-AH 0.0000 0.0000 0.0217 0.0435 0.0435 0.0217 0.0307 0.0435 0.0435 1.4142 0.0007 0.0000 0.0217 0.0000 0.0435 0.0217 0.0307
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
154
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0114 0.0114 0.0120 0.0125 0.0125 0.0120 0.0007 0.0010 0.0010 0.0615 0.0120 0.0119 0.0005 0.0114 0.0125 0.0120 0.0007
403-AH 0.0000 0.0000 0.0089 0.0178 0.0178 0.0089 0.0126 0.0178 0.0178 1.4142 0.0004 0.0000 0.0089 0.0000 0.0178 0.0089 0.0126
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.0625 0.0625 0.2056 0.3487 0.3487 0.2056 0.2024 0.2862 0.2862 0.9844 0.1476 0.1060 0.1431 0.0625 0.3487 0.2056 0.2024
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.4097 0.4097 0.4757 0.5417 0.5417 0.4757 0.0933 0.1319 0.1319 0.1961 0.4711 0.4665 0.0660 0.4097 0.5417 0.4757 0.0933
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0389 0.0389 0.0428 0.0466 0.0466 0.0428 0.0054 0.0077 0.0077 0.1272 0.0426 0.0424 0.0038 0.0389 0.0466 0.0428 0.0054
416-AH 0.2407 0.2407 0.2838 0.3268 0.3268 0.2838 0.0609 0.0861 0.0861 0.2145 0.2805 0.2773 0.0430 0.2407 0.3268 0.2838 0.0609
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0023 0.0046 0.0046 0.0023 0.0032 0.0046 0.0046 1.4142 0.0002 0.0000 0.0023 0.0000 0.0046 0.0023 0.0032
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0166 0.0166 0.0931 0.1696 0.1696 0.0931 0.1082 0.1530 0.1530 1.1614 0.0531 0.0303 0.0765 0.0166 0.1696 0.0931 0.1082
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0519 0.0519 0.0536 0.0554 0.0554 0.0536 0.0024 0.0035 0.0035 0.0456 0.0536 0.0536 0.0017 0.0519 0.0554 0.0536 0.0024
426-AH 0.0312 0.0312 0.0495 0.0677 0.0677 0.0495 0.0258 0.0365 0.0365 0.5210 0.0460 0.0428 0.0182 0.0312 0.0677 0.0495 0.0258
427-AH 0.0000 0.0000 0.0204 0.0408 0.0408 0.0204 0.0289 0.0408 0.0408 1.4142 0.0006 0.0000 0.0204 0.0000 0.0408 0.0204 0.0289
428-AH 0.0494 0.0494 0.0741 0.0988 0.0988 0.0741 0.0349 0.0494 0.0494 0.4714 0.0698 0.0658 0.0247 0.0494 0.0988 0.0741 0.0349
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.1237 0.1237 0.1237 0.1237 0.1237 0.1237 0.0000 0.0000 0.0000 0.0000 0.1237 0.1237 0.0000 0.1237 0.1237 0.1237 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0208 0.0417 0.0417 0.0208 0.0295 0.0417 0.0417 1.4142 0.0006 0.0000 0.0208 0.0000 0.0417 0.0208 0.0295
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0486 0.0486 0.0556 0.0625 0.0625 0.0556 0.0098 0.0139 0.0139 0.1768 0.0551 0.0547 0.0069 0.0486 0.0625 0.0556 0.0098
436-AH 0.0000 0.0000 0.0747 0.1494 0.1494 0.0747 0.1056 0.1494 0.1494 1.4142 0.0012 0.0000 0.0747 0.0000 0.1494 0.0747 0.1056
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0017 0.0035 0.0035 0.0017 0.0024 0.0035 0.0035 1.4142 0.0002 0.0000 0.0017 0.0000 0.0035 0.0017 0.0024
440-AH 0.0537 0.0537 0.0537 0.0537 0.0537 0.0537 0.0000 0.0000 0.0000 0.0000 0.0537 0.0537 0.0000 0.0537 0.0537 0.0537 0.0000
441-AH 0.0393 0.0393 0.0589 0.0785 0.0785 0.0589 0.0278 0.0393 0.0393 0.4714 0.0555 0.0523 0.0196 0.0393 0.0785 0.0589 0.0278
442-AH 0.5930 0.5930 0.6147 0.6364 0.6364 0.6147 0.0307 0.0434 0.0434 0.0499 0.6143 0.6139 0.0217 0.5930 0.6364 0.6147 0.0307
443-AH 0.0397 0.0397 0.0463 0.0529 0.0529 0.0463 0.0094 0.0132 0.0132 0.2020 0.0458 0.0454 0.0066 0.0397 0.0529 0.0463 0.0094
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6667 0.6667 0.7222 0.7778 0.7778 0.7222 0.0786 0.1111 0.1111 0.1088 0.7201 0.7179 0.0556 0.6667 0.7778 0.7222 0.0786
449-AH 0.0000 0.0000 0.0161 0.0321 0.0321 0.0161 0.0227 0.0321 0.0321 1.4142 0.0006 0.0000 0.0161 0.0000 0.0321 0.0161 0.0227
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
155
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0556 0.0556 0.0556 0.0556 0.0556 0.0556 0.0000 0.0000 0.0000 0.0000 0.0556 0.0556 0.0000 0.0556 0.0556 0.0556 0.0000
403-AH 0.0034 0.0034 0.0350 0.0667 0.0667 0.0350 0.0447 0.0633 0.0633 1.2769 0.0151 0.0065 0.0316 0.0034 0.0667 0.0350 0.0447
404-AH 0.0000 0.0000 0.0005 0.0011 0.0011 0.0005 0.0008 0.0011 0.0011 1.4142 0.0001 0.0000 0.0005 0.0000 0.0011 0.0005 0.0008
405-AH 0.0000 0.0000 0.0010 0.0019 0.0019 0.0010 0.0014 0.0019 0.0019 1.4142 0.0001 0.0000 0.0010 0.0000 0.0019 0.0010 0.0014
406-AH 0.0017 0.0017 0.0024 0.0032 0.0032 0.0024 0.0010 0.0014 0.0014 0.4156 0.0023 0.0022 0.0007 0.0017 0.0032 0.0024 0.0010
407-AH 0.0250 0.0250 0.0253 0.0256 0.0256 0.0253 0.0005 0.0006 0.0006 0.0179 0.0253 0.0253 0.0003 0.0250 0.0256 0.0253 0.0005
408-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
409-AH 0.0284 0.0284 0.0297 0.0311 0.0311 0.0297 0.0019 0.0027 0.0027 0.0647 0.0297 0.0297 0.0014 0.0284 0.0311 0.0297 0.0019
410-AH 0.8333 0.8333 0.9167 1.0000 1.0000 0.9167 0.1179 0.1667 0.1667 0.1286 0.9129 0.9091 0.0833 0.8333 1.0000 0.9167 0.1179
411-AH 0.0129 0.0129 0.0164 0.0199 0.0199 0.0164 0.0049 0.0070 0.0070 0.3005 0.0160 0.0156 0.0035 0.0129 0.0199 0.0164 0.0049
412-AH 0.0028 0.0028 0.0035 0.0042 0.0042 0.0035 0.0010 0.0014 0.0014 0.2781 0.0034 0.0033 0.0007 0.0028 0.0042 0.0035 0.0010
413-AH 0.0091 0.0091 0.0132 0.0172 0.0172 0.0132 0.0058 0.0082 0.0082 0.4377 0.0125 0.0119 0.0041 0.0091 0.0172 0.0132 0.0058
414-AH 0.0040 0.0040 0.0089 0.0138 0.0138 0.0089 0.0069 0.0098 0.0098 0.7771 0.0074 0.0062 0.0049 0.0040 0.0138 0.0089 0.0069
415-AH 0.1250 0.1250 0.1458 0.1667 0.1667 0.1458 0.0295 0.0417 0.0417 0.2020 0.1443 0.1429 0.0208 0.1250 0.1667 0.1458 0.0295
416-AH 0.4412 0.4412 0.4706 0.5000 0.5000 0.4706 0.0416 0.0588 0.0588 0.0884 0.4697 0.4688 0.0294 0.4412 0.5000 0.4706 0.0416
417-AH 0.0065 0.0065 0.0120 0.0175 0.0175 0.0120 0.0078 0.0111 0.0111 0.6537 0.0106 0.0094 0.0055 0.0065 0.0175 0.0120 0.0078
418-AH 0.0226 0.0226 0.0244 0.0261 0.0261 0.0244 0.0024 0.0035 0.0035 0.1005 0.0243 0.0242 0.0017 0.0226 0.0261 0.0244 0.0024
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0625 0.0625 0.2188 0.3750 0.3750 0.2188 0.2210 0.3125 0.3125 1.0102 0.1531 0.1071 0.1562 0.0625 0.3750 0.2188 0.2210
421-AH 0.0476 0.0476 0.0551 0.0625 0.0625 0.0551 0.0105 0.0149 0.0149 0.1911 0.0546 0.0541 0.0074 0.0476 0.0625 0.0551 0.0105
422-AH 0.0385 0.0385 0.0392 0.0400 0.0400 0.0392 0.0011 0.0015 0.0015 0.0277 0.0392 0.0392 0.0008 0.0385 0.0400 0.0392 0.0011
423-AH 0.0012 0.0012 0.0032 0.0052 0.0052 0.0032 0.0029 0.0040 0.0040 0.9010 0.0024 0.0019 0.0020 0.0012 0.0052 0.0032 0.0029
424-AH 0.0130 0.0130 0.0620 0.1111 0.1111 0.0620 0.0694 0.0981 0.0981 1.1182 0.0380 0.0233 0.0491 0.0130 0.1111 0.0620 0.0694
425-AH 0.3333 0.3333 0.4167 0.5000 0.5000 0.4167 0.1179 0.1667 0.1667 0.2828 0.4082 0.4000 0.0833 0.3333 0.5000 0.4167 0.1179
426-AH 0.1429 0.1429 0.2381 0.3333 0.3333 0.2381 0.1347 0.1905 0.1905 0.5657 0.2182 0.2000 0.0952 0.1429 0.3333 0.2381 0.1347
427-AH 0.0435 0.0435 0.0932 0.1429 0.1429 0.0932 0.0703 0.0994 0.0994 0.7542 0.0788 0.0667 0.0497 0.0435 0.1429 0.0932 0.0703
428-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
429-AH 0.0274 0.0274 0.0322 0.0370 0.0370 0.0322 0.0068 0.0096 0.0096 0.2116 0.0319 0.0315 0.0048 0.0274 0.0370 0.0322 0.0068
430-AH 0.6667 0.6667 0.8333 1.0000 1.0000 0.8333 0.2357 0.3333 0.3333 0.2828 0.8165 0.8000 0.1667 0.6667 1.0000 0.8333 0.2357
431-AH 0.0385 0.0385 0.0407 0.0429 0.0429 0.0407 0.0031 0.0044 0.0044 0.0764 0.0406 0.0405 0.0022 0.0385 0.0429 0.0407 0.0031
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0714 0.0714 0.1071 0.1429 0.1429 0.1071 0.0505 0.0714 0.0714 0.4714 0.1010 0.0952 0.0357 0.0714 0.1429 0.1071 0.0505
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1667 0.1667 0.2083 0.2500 0.2500 0.2083 0.0589 0.0833 0.0833 0.2828 0.2041 0.2000 0.0417 0.1667 0.2500 0.2083 0.0589
436-AH 0.0366 0.0366 0.1537 0.2708 0.2708 0.1537 0.1656 0.2342 0.2342 1.0776 0.0995 0.0645 0.1171 0.0366 0.2708 0.1537 0.1656
437-AH 0.0021 0.0021 0.0037 0.0053 0.0053 0.0037 0.0022 0.0032 0.0032 0.6011 0.0034 0.0031 0.0016 0.0021 0.0053 0.0037 0.0022
438-AH 0.0184 0.0184 0.0236 0.0288 0.0288 0.0236 0.0074 0.0104 0.0104 0.3115 0.0231 0.0225 0.0052 0.0184 0.0288 0.0236 0.0074
439-AH 0.0015 0.0015 0.0302 0.0588 0.0588 0.0302 0.0405 0.0573 0.0573 1.3437 0.0094 0.0029 0.0287 0.0015 0.0588 0.0302 0.0405
440-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
441-AH 0.2500 0.2500 0.2917 0.3333 0.3333 0.2917 0.0589 0.0833 0.0833 0.2020 0.2887 0.2857 0.0417 0.2500 0.3333 0.2917 0.0589
442-AH 0.6667 0.6667 0.7083 0.7500 0.7500 0.7083 0.0589 0.0833 0.0833 0.0832 0.7071 0.7059 0.0417 0.6667 0.7500 0.7083 0.0589
443-AH 0.1250 0.1250 0.1458 0.1667 0.1667 0.1458 0.0295 0.0417 0.0417 0.2020 0.1443 0.1429 0.0208 0.1250 0.1667 0.1458 0.0295
444-AH 0.0035 0.0035 0.0049 0.0063 0.0063 0.0049 0.0020 0.0028 0.0028 0.4086 0.0047 0.0045 0.0014 0.0035 0.0063 0.0049 0.0020
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0010 0.0010 0.0023 0.0036 0.0036 0.0023 0.0018 0.0026 0.0026 0.7972 0.0019 0.0016 0.0013 0.0010 0.0036 0.0023 0.0018
447-AH 0.0000 0.0000 0.0006 0.0012 0.0012 0.0006 0.0008 0.0012 0.0012 1.4142 0.0001 0.0000 0.0006 0.0000 0.0012 0.0006 0.0008
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.0412 0.0412 0.0920 0.1429 0.1429 0.0920 0.0719 0.1016 0.1016 0.7806 0.0768 0.0640 0.0508 0.0412 0.1429 0.0920 0.0719
450-AH 0.0061 0.0061 0.0063 0.0065 0.0065 0.0063 0.0002 0.0003 0.0003 0.0393 0.0063 0.0063 0.0002 0.0061 0.0065 0.0063 0.0002
156
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0381 0.0381 0.0469 0.0556 0.0556 0.0469 0.0123 0.0174 0.0174 0.2627 0.0460 0.0452 0.0087 0.0381 0.0556 0.0469 0.0123
403-AH 0.0000 0.0000 0.0070 0.0141 0.0141 0.0070 0.0100 0.0141 0.0141 1.4142 0.0004 0.0000 0.0070 0.0000 0.0141 0.0070 0.0100
404-AH 0.0000 0.0000 0.0005 0.0011 0.0011 0.0005 0.0008 0.0011 0.0011 1.4142 0.0001 0.0000 0.0005 0.0000 0.0011 0.0005 0.0008
405-AH 0.0000 0.0000 0.0010 0.0019 0.0019 0.0010 0.0014 0.0019 0.0019 1.4142 0.0001 0.0000 0.0010 0.0000 0.0019 0.0010 0.0014
406-AH 0.0000 0.0000 0.0016 0.0032 0.0032 0.0016 0.0022 0.0032 0.0032 1.4142 0.0002 0.0000 0.0016 0.0000 0.0032 0.0016 0.0022
407-AH 0.0250 0.0250 0.0253 0.0256 0.0256 0.0253 0.0005 0.0006 0.0006 0.0179 0.0253 0.0253 0.0003 0.0250 0.0256 0.0253 0.0005
408-AH 0.1000 0.1000 0.5500 1.0000 1.0000 0.5500 0.6364 0.9000 0.9000 1.1571 0.3162 0.1818 0.4500 0.1000 1.0000 0.5500 0.6364
409-AH 0.0284 0.0284 0.0297 0.0311 0.0311 0.0297 0.0019 0.0027 0.0027 0.0647 0.0297 0.0297 0.0014 0.0284 0.0311 0.0297 0.0019
410-AH 0.8333 0.8333 0.8333 0.8333 0.8333 0.8333 0.0000 0.0000 0.0000 0.0000 0.8333 0.8333 0.0000 0.8333 0.8333 0.8333 0.0000
411-AH 0.0129 0.0129 0.0164 0.0199 0.0199 0.0164 0.0049 0.0070 0.0070 0.3005 0.0160 0.0156 0.0035 0.0129 0.0199 0.0164 0.0049
412-AH 0.0000 0.0000 0.0014 0.0028 0.0028 0.0014 0.0020 0.0028 0.0028 1.4142 0.0002 0.0000 0.0014 0.0000 0.0028 0.0014 0.0020
413-AH 0.0000 0.0000 0.0012 0.0023 0.0023 0.0012 0.0017 0.0023 0.0023 1.4142 0.0002 0.0000 0.0012 0.0000 0.0023 0.0012 0.0017
414-AH 0.0028 0.0028 0.0083 0.0138 0.0138 0.0083 0.0078 0.0110 0.0110 0.9311 0.0063 0.0047 0.0055 0.0028 0.0138 0.0083 0.0078
415-AH 0.0595 0.0595 0.0655 0.0714 0.0714 0.0655 0.0084 0.0119 0.0119 0.1286 0.0652 0.0649 0.0060 0.0595 0.0714 0.0655 0.0084
416-AH 0.3929 0.3929 0.4170 0.4412 0.4412 0.4170 0.0342 0.0483 0.0483 0.0819 0.4163 0.4156 0.0242 0.3929 0.4412 0.4170 0.0342
417-AH 0.0065 0.0065 0.0120 0.0175 0.0175 0.0120 0.0078 0.0111 0.0111 0.6537 0.0106 0.0094 0.0055 0.0065 0.0175 0.0120 0.0078
418-AH 0.0000 0.0000 0.0042 0.0085 0.0085 0.0042 0.0060 0.0085 0.0085 1.4142 0.0003 0.0000 0.0042 0.0000 0.0085 0.0042 0.0060
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0464 0.0464 0.1899 0.3333 0.3333 0.1899 0.2029 0.2869 0.2869 1.0687 0.1244 0.0814 0.1435 0.0464 0.3333 0.1899 0.2029
421-AH 0.0476 0.0476 0.0551 0.0625 0.0625 0.0551 0.0105 0.0149 0.0149 0.1911 0.0546 0.0541 0.0074 0.0476 0.0625 0.0551 0.0105
422-AH 0.0385 0.0385 0.0392 0.0400 0.0400 0.0392 0.0011 0.0015 0.0015 0.0277 0.0392 0.0392 0.0008 0.0385 0.0400 0.0392 0.0011
423-AH 0.0000 0.0000 0.0026 0.0052 0.0052 0.0026 0.0037 0.0052 0.0052 1.4142 0.0002 0.0000 0.0026 0.0000 0.0052 0.0026 0.0037
424-AH 0.0130 0.0130 0.0620 0.1111 0.1111 0.0620 0.0694 0.0981 0.0981 1.1182 0.0380 0.0233 0.0491 0.0130 0.1111 0.0620 0.0694
425-AH 0.0034 0.0034 0.0048 0.0062 0.0062 0.0048 0.0020 0.0028 0.0028 0.4119 0.0046 0.0044 0.0014 0.0034 0.0062 0.0048 0.0020
426-AH 0.0682 0.0682 0.1091 0.1500 0.1500 0.1091 0.0579 0.0818 0.0818 0.5303 0.1011 0.0938 0.0409 0.0682 0.1500 0.1091 0.0579
427-AH 0.0254 0.0254 0.0533 0.0811 0.0811 0.0533 0.0394 0.0557 0.0557 0.7390 0.0454 0.0387 0.0278 0.0254 0.0811 0.0533 0.0394
428-AH 0.0508 0.0508 0.1307 0.2105 0.2105 0.1307 0.1129 0.1597 0.1597 0.8640 0.1035 0.0819 0.0798 0.0508 0.2105 0.1307 0.1129
429-AH 0.0221 0.0221 0.0259 0.0297 0.0297 0.0259 0.0054 0.0076 0.0076 0.2076 0.0256 0.0253 0.0038 0.0221 0.0297 0.0259 0.0054
430-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
431-AH 0.0240 0.0240 0.0334 0.0429 0.0429 0.0334 0.0133 0.0189 0.0189 0.3989 0.0321 0.0308 0.0094 0.0240 0.0429 0.0334 0.0133
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0024 0.0024 0.0039 0.0054 0.0054 0.0039 0.0021 0.0030 0.0030 0.5419 0.0036 0.0033 0.0015 0.0024 0.0054 0.0039 0.0021
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1111 0.1111 0.1208 0.1304 0.1304 0.1208 0.0137 0.0193 0.0193 0.1131 0.1204 0.1200 0.0097 0.1111 0.1304 0.1208 0.0137
436-AH 0.0221 0.0221 0.1465 0.2708 0.2708 0.1465 0.1759 0.2487 0.2487 1.2008 0.0774 0.0409 0.1244 0.0221 0.2708 0.1465 0.1759
437-AH 0.0000 0.0000 0.0010 0.0021 0.0021 0.0010 0.0015 0.0021 0.0021 1.4142 0.0001 0.0000 0.0010 0.0000 0.0021 0.0010 0.0015
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0278 0.0556 0.0556 0.0278 0.0393 0.0556 0.0556 1.4142 0.0007 0.0000 0.0278 0.0000 0.0556 0.0278 0.0393
440-AH 0.0889 0.0889 0.0944 0.1000 0.1000 0.0944 0.0079 0.0111 0.0111 0.0832 0.0943 0.0941 0.0056 0.0889 0.1000 0.0944 0.0079
441-AH 0.0056 0.0056 0.0176 0.0297 0.0297 0.0176 0.0170 0.0241 0.0241 0.9660 0.0129 0.0094 0.0121 0.0056 0.0297 0.0176 0.0170
442-AH 0.6500 0.6500 0.7000 0.7500 0.7500 0.7000 0.0707 0.1000 0.1000 0.1010 0.6982 0.6964 0.0500 0.6500 0.7500 0.7000 0.0707
443-AH 0.0750 0.0750 0.1000 0.1250 0.1250 0.1000 0.0354 0.0500 0.0500 0.3536 0.0968 0.0938 0.0250 0.0750 0.1250 0.1000 0.0354
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0010 0.0010 0.0023 0.0036 0.0036 0.0023 0.0018 0.0026 0.0026 0.7972 0.0019 0.0016 0.0013 0.0010 0.0036 0.0023 0.0018
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.0412 0.0412 0.0583 0.0753 0.0753 0.0583 0.0241 0.0340 0.0340 0.4131 0.0557 0.0533 0.0170 0.0412 0.0753 0.0583 0.0241
450-AH 0.0000 0.0000 0.0032 0.0065 0.0065 0.0032 0.0046 0.0065 0.0065 1.4142 0.0003 0.0000 0.0032 0.0000 0.0065 0.0032 0.0046
157
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0381 0.0381 0.0469 0.0556 0.0556 0.0469 0.0123 0.0174 0.0174 0.2627 0.0460 0.0452 0.0087 0.0381 0.0556 0.0469 0.0123
403-AH 0.0000 0.0000 0.0061 0.0121 0.0121 0.0061 0.0086 0.0121 0.0121 1.4142 0.0003 0.0000 0.0061 0.0000 0.0121 0.0061 0.0086
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0250 0.0250 0.0253 0.0256 0.0256 0.0253 0.0005 0.0006 0.0006 0.0179 0.0253 0.0253 0.0003 0.0250 0.0256 0.0253 0.0005
408-AH 0.0513 0.0513 0.4256 0.8000 0.8000 0.4256 0.5294 0.7487 0.7487 1.2438 0.2025 0.0964 0.3744 0.0513 0.8000 0.4256 0.5294
409-AH 0.0284 0.0284 0.0297 0.0311 0.0311 0.0297 0.0019 0.0027 0.0027 0.0647 0.0297 0.0297 0.0014 0.0284 0.0311 0.0297 0.0019
410-AH 0.8333 0.8333 0.8333 0.8333 0.8333 0.8333 0.0000 0.0000 0.0000 0.0000 0.8333 0.8333 0.0000 0.8333 0.8333 0.8333 0.0000
411-AH 0.0129 0.0129 0.0164 0.0199 0.0199 0.0164 0.0049 0.0070 0.0070 0.3005 0.0160 0.0156 0.0035 0.0129 0.0199 0.0164 0.0049
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0069 0.0138 0.0138 0.0069 0.0098 0.0138 0.0138 1.4142 0.0004 0.0000 0.0069 0.0000 0.0138 0.0069 0.0098
415-AH 0.0214 0.0214 0.0262 0.0310 0.0310 0.0262 0.0068 0.0096 0.0096 0.2582 0.0257 0.0253 0.0048 0.0214 0.0310 0.0262 0.0068
416-AH 0.3929 0.3929 0.4170 0.4412 0.4412 0.4170 0.0342 0.0483 0.0483 0.0819 0.4163 0.4156 0.0242 0.3929 0.4412 0.4170 0.0342
417-AH 0.0065 0.0065 0.0117 0.0169 0.0169 0.0117 0.0074 0.0105 0.0105 0.6344 0.0105 0.0093 0.0052 0.0065 0.0169 0.0117 0.0074
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0464 0.0464 0.1611 0.2759 0.2759 0.1611 0.1623 0.2295 0.2295 1.0070 0.1131 0.0794 0.1147 0.0464 0.2759 0.1611 0.1623
421-AH 0.0245 0.0245 0.0313 0.0381 0.0381 0.0313 0.0096 0.0136 0.0136 0.3061 0.0306 0.0299 0.0068 0.0245 0.0381 0.0313 0.0096
422-AH 0.0328 0.0328 0.0331 0.0333 0.0333 0.0331 0.0004 0.0005 0.0005 0.0117 0.0331 0.0331 0.0003 0.0328 0.0333 0.0331 0.0004
423-AH 0.0000 0.0000 0.0026 0.0052 0.0052 0.0026 0.0037 0.0052 0.0052 1.4142 0.0002 0.0000 0.0026 0.0000 0.0052 0.0026 0.0037
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0031 0.0062 0.0062 0.0031 0.0044 0.0062 0.0062 1.4142 0.0002 0.0000 0.0031 0.0000 0.0062 0.0031 0.0044
426-AH 0.0405 0.0405 0.0709 0.1013 0.1013 0.0709 0.0429 0.0607 0.0607 0.6056 0.0641 0.0579 0.0304 0.0405 0.1013 0.0709 0.0429
427-AH 0.0254 0.0254 0.0533 0.0811 0.0811 0.0533 0.0394 0.0557 0.0557 0.7390 0.0454 0.0387 0.0278 0.0254 0.0811 0.0533 0.0394
428-AH 0.0471 0.0471 0.1288 0.2105 0.2105 0.1288 0.1156 0.1635 0.1635 0.8975 0.0995 0.0769 0.0817 0.0471 0.2105 0.1288 0.1156
429-AH 0.0221 0.0221 0.0256 0.0290 0.0290 0.0256 0.0049 0.0069 0.0069 0.1917 0.0253 0.0251 0.0035 0.0221 0.0290 0.0256 0.0049
430-AH 0.1429 0.1429 0.1429 0.1429 0.1429 0.1429 0.0000 0.0000 0.0000 0.0000 0.1429 0.1429 0.0000 0.1429 0.1429 0.1429 0.0000
431-AH 0.0231 0.0231 0.0248 0.0265 0.0265 0.0248 0.0025 0.0035 0.0035 0.0989 0.0248 0.0247 0.0017 0.0231 0.0265 0.0248 0.0025
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1111 0.1111 0.1208 0.1304 0.1304 0.1208 0.0137 0.0193 0.0193 0.1131 0.1204 0.1200 0.0097 0.1111 0.1304 0.1208 0.0137
436-AH 0.0154 0.0154 0.1431 0.2708 0.2708 0.1431 0.1806 0.2554 0.2554 1.2622 0.0645 0.0291 0.1277 0.0154 0.2708 0.1431 0.1806
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0889 0.0889 0.0944 0.1000 0.1000 0.0944 0.0079 0.0111 0.0111 0.0832 0.0943 0.0941 0.0056 0.0889 0.1000 0.0944 0.0079
441-AH 0.0056 0.0056 0.0122 0.0188 0.0188 0.0122 0.0093 0.0132 0.0132 0.7656 0.0103 0.0086 0.0066 0.0056 0.0188 0.0122 0.0093
442-AH 0.6500 0.6500 0.7000 0.7500 0.7500 0.7000 0.0707 0.1000 0.1000 0.1010 0.6982 0.6964 0.0500 0.6500 0.7500 0.7000 0.0707
443-AH 0.0262 0.0262 0.0386 0.0510 0.0510 0.0386 0.0176 0.0248 0.0248 0.4551 0.0365 0.0346 0.0124 0.0262 0.0510 0.0386 0.0176
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0018 0.0036 0.0036 0.0018 0.0026 0.0036 0.0036 1.4142 0.0002 0.0000 0.0018 0.0000 0.0036 0.0018 0.0026
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.0385 0.0385 0.0569 0.0753 0.0753 0.0569 0.0260 0.0368 0.0368 0.4577 0.0538 0.0509 0.0184 0.0385 0.0753 0.0569 0.0260
450-AH 0.0000 0.0000 0.0032 0.0065 0.0065 0.0032 0.0046 0.0065 0.0065 1.4142 0.0003 0.0000 0.0032 0.0000 0.0065 0.0032 0.0046
158
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0324 0.0324 0.0353 0.0381 0.0381 0.0353 0.0041 0.0058 0.0058 0.1160 0.0351 0.0350 0.0029 0.0324 0.0381 0.0353 0.0041
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0250 0.0250 0.0253 0.0256 0.0256 0.0253 0.0005 0.0006 0.0006 0.0179 0.0253 0.0253 0.0003 0.0250 0.0256 0.0253 0.0005
408-AH 0.0337 0.0337 0.3502 0.6667 0.6667 0.3502 0.4476 0.6329 0.6329 1.2780 0.1500 0.0642 0.3165 0.0337 0.6667 0.3502 0.4476
409-AH 0.0284 0.0284 0.0297 0.0311 0.0311 0.0297 0.0019 0.0027 0.0027 0.0647 0.0297 0.0297 0.0014 0.0284 0.0311 0.0297 0.0019
410-AH 0.8333 0.8333 0.8333 0.8333 0.8333 0.8333 0.0000 0.0000 0.0000 0.0000 0.8333 0.8333 0.0000 0.8333 0.8333 0.8333 0.0000
411-AH 0.0129 0.0129 0.0164 0.0199 0.0199 0.0164 0.0049 0.0070 0.0070 0.3005 0.0160 0.0156 0.0035 0.0129 0.0199 0.0164 0.0049
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0047 0.0094 0.0094 0.0047 0.0067 0.0094 0.0094 1.4142 0.0003 0.0000 0.0047 0.0000 0.0094 0.0047 0.0067
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3600 0.3600 0.3913 0.4225 0.4225 0.3913 0.0442 0.0625 0.0625 0.1130 0.3900 0.3888 0.0313 0.3600 0.4225 0.3913 0.0442
417-AH 0.0000 0.0000 0.0030 0.0060 0.0060 0.0030 0.0043 0.0060 0.0060 1.4142 0.0002 0.0000 0.0030 0.0000 0.0060 0.0030 0.0043
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0360 0.0360 0.1222 0.2083 0.2083 0.1222 0.1219 0.1724 0.1724 0.9978 0.0866 0.0613 0.0862 0.0360 0.2083 0.1222 0.1219
421-AH 0.0245 0.0245 0.0313 0.0381 0.0381 0.0313 0.0096 0.0136 0.0136 0.3061 0.0306 0.0299 0.0068 0.0245 0.0381 0.0313 0.0096
422-AH 0.0160 0.0160 0.0247 0.0333 0.0333 0.0247 0.0122 0.0173 0.0173 0.4952 0.0231 0.0217 0.0086 0.0160 0.0333 0.0247 0.0122
423-AH 0.0000 0.0000 0.0026 0.0052 0.0052 0.0026 0.0037 0.0052 0.0052 1.4142 0.0002 0.0000 0.0026 0.0000 0.0052 0.0026 0.0037
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0394 0.0394 0.0704 0.1013 0.1013 0.0704 0.0437 0.0618 0.0618 0.6214 0.0632 0.0568 0.0309 0.0394 0.1013 0.0704 0.0437
427-AH 0.0144 0.0144 0.0363 0.0583 0.0583 0.0363 0.0310 0.0439 0.0439 0.8546 0.0289 0.0231 0.0219 0.0144 0.0583 0.0363 0.0310
428-AH 0.0471 0.0471 0.0848 0.1224 0.1224 0.0848 0.0533 0.0754 0.0754 0.6290 0.0759 0.0680 0.0377 0.0471 0.1224 0.0848 0.0533
429-AH 0.0221 0.0221 0.0256 0.0290 0.0290 0.0256 0.0049 0.0069 0.0069 0.1917 0.0253 0.0251 0.0035 0.0221 0.0290 0.0256 0.0049
430-AH 0.0287 0.0287 0.0318 0.0349 0.0349 0.0318 0.0044 0.0062 0.0062 0.1385 0.0316 0.0315 0.0031 0.0287 0.0349 0.0318 0.0044
431-AH 0.0139 0.0139 0.0197 0.0255 0.0255 0.0197 0.0082 0.0116 0.0116 0.4143 0.0189 0.0180 0.0058 0.0139 0.0255 0.0197 0.0082
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1111 0.1111 0.1208 0.1304 0.1304 0.1208 0.0137 0.0193 0.0193 0.1131 0.1204 0.1200 0.0097 0.1111 0.1304 0.1208 0.0137
436-AH 0.0128 0.0128 0.1418 0.2708 0.2708 0.1418 0.1825 0.2581 0.2581 1.2870 0.0588 0.0244 0.1290 0.0128 0.2708 0.1418 0.1825
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0889 0.0889 0.0944 0.1000 0.1000 0.0944 0.0079 0.0111 0.0111 0.0832 0.0943 0.0941 0.0056 0.0889 0.1000 0.0944 0.0079
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.6500 0.6500 0.7000 0.7500 0.7500 0.7000 0.0707 0.1000 0.1000 0.1010 0.6982 0.6964 0.0500 0.6500 0.7500 0.7000 0.0707
443-AH 0.0000 0.0000 0.0248 0.0496 0.0496 0.0248 0.0351 0.0496 0.0496 1.4142 0.0007 0.0000 0.0248 0.0000 0.0496 0.0248 0.0351
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.0337 0.0337 0.0545 0.0753 0.0753 0.0545 0.0294 0.0416 0.0416 0.5403 0.0503 0.0465 0.0208 0.0337 0.0753 0.0545 0.0294
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
159
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0283 0.0283 0.0332 0.0381 0.0381 0.0332 0.0069 0.0098 0.0098 0.2084 0.0329 0.0325 0.0049 0.0283 0.0381 0.0332 0.0069
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0182 0.0182 0.0203 0.0225 0.0225 0.0203 0.0030 0.0043 0.0043 0.1492 0.0202 0.0201 0.0021 0.0182 0.0225 0.0203 0.0030
408-AH 0.0199 0.0199 0.2452 0.4706 0.4706 0.2452 0.3187 0.4507 0.4507 1.2995 0.0968 0.0382 0.2253 0.0199 0.4706 0.2452 0.3187
409-AH 0.0284 0.0284 0.0297 0.0311 0.0311 0.0297 0.0019 0.0027 0.0027 0.0647 0.0297 0.0297 0.0014 0.0284 0.0311 0.0297 0.0019
410-AH 0.8333 0.8333 0.8333 0.8333 0.8333 0.8333 0.0000 0.0000 0.0000 0.0000 0.8333 0.8333 0.0000 0.8333 0.8333 0.8333 0.0000
411-AH 0.0129 0.0129 0.0164 0.0199 0.0199 0.0164 0.0049 0.0070 0.0070 0.3005 0.0160 0.0156 0.0035 0.0129 0.0199 0.0164 0.0049
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0045 0.0090 0.0090 0.0045 0.0063 0.0090 0.0090 1.4142 0.0003 0.0000 0.0045 0.0000 0.0090 0.0045 0.0063
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3385 0.3385 0.3805 0.4225 0.4225 0.3805 0.0594 0.0841 0.0841 0.1562 0.3782 0.3759 0.0420 0.3385 0.4225 0.3805 0.0594
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0328 0.0328 0.0734 0.1140 0.1140 0.0734 0.0575 0.0812 0.0812 0.7826 0.0611 0.0509 0.0406 0.0328 0.1140 0.0734 0.0575
421-AH 0.0245 0.0245 0.0313 0.0381 0.0381 0.0313 0.0096 0.0136 0.0136 0.3061 0.0306 0.0299 0.0068 0.0245 0.0381 0.0313 0.0096
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0394 0.0394 0.0447 0.0500 0.0500 0.0447 0.0075 0.0106 0.0106 0.1669 0.0444 0.0441 0.0053 0.0394 0.0500 0.0447 0.0075
427-AH 0.0144 0.0144 0.0363 0.0583 0.0583 0.0363 0.0310 0.0439 0.0439 0.8546 0.0289 0.0231 0.0219 0.0144 0.0583 0.0363 0.0310
428-AH 0.0471 0.0471 0.0487 0.0503 0.0503 0.0487 0.0023 0.0033 0.0033 0.0473 0.0487 0.0486 0.0016 0.0471 0.0503 0.0487 0.0023
429-AH 0.0209 0.0209 0.0250 0.0290 0.0290 0.0250 0.0057 0.0081 0.0081 0.2293 0.0247 0.0243 0.0041 0.0209 0.0290 0.0250 0.0057
430-AH 0.0158 0.0158 0.0184 0.0211 0.0211 0.0184 0.0037 0.0053 0.0053 0.2023 0.0183 0.0181 0.0026 0.0158 0.0211 0.0184 0.0037
431-AH 0.0138 0.0138 0.0139 0.0139 0.0139 0.0139 0.0001 0.0001 0.0001 0.0062 0.0139 0.0139 0.0001 0.0138 0.0139 0.0139 0.0001
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1111 0.1111 0.1208 0.1304 0.1304 0.1208 0.0137 0.0193 0.0193 0.1131 0.1204 0.1200 0.0097 0.1111 0.1304 0.1208 0.0137
436-AH 0.0000 0.0000 0.1311 0.2623 0.2623 0.1311 0.1855 0.2623 0.2623 1.4142 0.0016 0.0000 0.1311 0.0000 0.2623 0.1311 0.1855
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0857 0.0857 0.0929 0.1000 0.1000 0.0929 0.0101 0.0143 0.0143 0.1088 0.0926 0.0923 0.0071 0.0857 0.1000 0.0929 0.0101
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.6500 0.6500 0.7000 0.7500 0.7500 0.7000 0.0707 0.1000 0.1000 0.1010 0.6982 0.6964 0.0500 0.6500 0.7500 0.7000 0.0707
443-AH 0.0000 0.0000 0.0197 0.0395 0.0395 0.0197 0.0279 0.0395 0.0395 1.4142 0.0006 0.0000 0.0197 0.0000 0.0395 0.0197 0.0279
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6667 0.6667 0.8333 1.0000 1.0000 0.8333 0.2357 0.3333 0.3333 0.2828 0.8165 0.8000 0.1667 0.6667 1.0000 0.8333 0.2357
449-AH 0.0251 0.0251 0.0387 0.0524 0.0524 0.0387 0.0193 0.0273 0.0273 0.4986 0.0362 0.0339 0.0136 0.0251 0.0524 0.0387 0.0193
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
160
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0256 0.0256 0.0270 0.0283 0.0283 0.0270 0.0019 0.0027 0.0027 0.0720 0.0269 0.0269 0.0014 0.0256 0.0283 0.0270 0.0019
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0182 0.0182 0.0203 0.0225 0.0225 0.0203 0.0030 0.0043 0.0043 0.1492 0.0202 0.0201 0.0021 0.0182 0.0225 0.0203 0.0030
408-AH 0.0000 0.0000 0.1220 0.2439 0.2439 0.1220 0.1725 0.2439 0.2439 1.4142 0.0016 0.0000 0.1220 0.0000 0.2439 0.1220 0.1725
409-AH 0.0270 0.0270 0.0291 0.0311 0.0311 0.0291 0.0029 0.0041 0.0041 0.0988 0.0290 0.0289 0.0020 0.0270 0.0311 0.0291 0.0029
410-AH 0.4286 0.4286 0.5893 0.7500 0.7500 0.5893 0.2273 0.3214 0.3214 0.3857 0.5669 0.5455 0.1607 0.4286 0.7500 0.5893 0.2273
411-AH 0.0105 0.0105 0.0152 0.0199 0.0199 0.0152 0.0067 0.0094 0.0094 0.4391 0.0144 0.0137 0.0047 0.0105 0.0199 0.0152 0.0067
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3175 0.3175 0.3700 0.4225 0.4225 0.3700 0.0743 0.1051 0.1051 0.2008 0.3662 0.3625 0.0525 0.3175 0.4225 0.3700 0.0743
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0328 0.0328 0.0407 0.0486 0.0486 0.0407 0.0112 0.0158 0.0158 0.2752 0.0399 0.0392 0.0079 0.0328 0.0486 0.0407 0.0112
421-AH 0.0245 0.0245 0.0313 0.0381 0.0381 0.0313 0.0096 0.0136 0.0136 0.3061 0.0306 0.0299 0.0068 0.0245 0.0381 0.0313 0.0096
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0326 0.0326 0.0360 0.0394 0.0394 0.0360 0.0048 0.0068 0.0068 0.1336 0.0359 0.0357 0.0034 0.0326 0.0394 0.0360 0.0048
427-AH 0.0144 0.0144 0.0306 0.0468 0.0468 0.0306 0.0229 0.0324 0.0324 0.7497 0.0259 0.0220 0.0162 0.0144 0.0468 0.0306 0.0229
428-AH 0.0446 0.0446 0.0460 0.0474 0.0474 0.0460 0.0020 0.0028 0.0028 0.0433 0.0459 0.0459 0.0014 0.0446 0.0474 0.0460 0.0020
429-AH 0.0000 0.0000 0.0100 0.0201 0.0201 0.0100 0.0142 0.0201 0.0201 1.4142 0.0004 0.0000 0.0100 0.0000 0.0201 0.0100 0.0142
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1053 0.1053 0.1178 0.1304 0.1304 0.1178 0.0178 0.0252 0.0252 0.1510 0.1172 0.1165 0.0126 0.1053 0.1304 0.1178 0.0178
436-AH 0.0000 0.0000 0.1280 0.2561 0.2561 0.1280 0.1811 0.2561 0.2561 1.4142 0.0016 0.0000 0.1280 0.0000 0.2561 0.1280 0.1811
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0724 0.0724 0.0736 0.0748 0.0748 0.0736 0.0017 0.0025 0.0025 0.0236 0.0736 0.0736 0.0012 0.0724 0.0748 0.0736 0.0017
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.6500 0.6500 0.7000 0.7500 0.7500 0.7000 0.0707 0.1000 0.1000 0.1010 0.6982 0.6964 0.0500 0.6500 0.7500 0.7000 0.0707
443-AH 0.0000 0.0000 0.0197 0.0395 0.0395 0.0197 0.0279 0.0395 0.0395 1.4142 0.0006 0.0000 0.0197 0.0000 0.0395 0.0197 0.0279
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6667 0.6667 0.8333 1.0000 1.0000 0.8333 0.2357 0.3333 0.3333 0.2828 0.8165 0.8000 0.1667 0.6667 1.0000 0.8333 0.2357
449-AH 0.0216 0.0216 0.0273 0.0331 0.0331 0.0273 0.0081 0.0115 0.0115 0.2970 0.0267 0.0261 0.0057 0.0216 0.0331 0.0273 0.0081
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
161
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0239 0.0239 0.0260 0.0281 0.0281 0.0260 0.0030 0.0042 0.0042 0.1144 0.0259 0.0258 0.0021 0.0239 0.0281 0.0260 0.0030
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0182 0.0182 0.0203 0.0225 0.0225 0.0203 0.0030 0.0043 0.0043 0.1492 0.0202 0.0201 0.0021 0.0182 0.0225 0.0203 0.0030
408-AH 0.0000 0.0000 0.0563 0.1127 0.1127 0.0563 0.0797 0.1127 0.1127 1.4142 0.0011 0.0000 0.0563 0.0000 0.1127 0.0563 0.0797
409-AH 0.0224 0.0224 0.0267 0.0311 0.0311 0.0267 0.0062 0.0087 0.0087 0.2301 0.0264 0.0260 0.0044 0.0224 0.0311 0.0267 0.0062
410-AH 0.0645 0.0645 0.2676 0.4706 0.4706 0.2676 0.2871 0.4061 0.4061 1.0732 0.1742 0.1135 0.2030 0.0645 0.4706 0.2676 0.2871
411-AH 0.0105 0.0105 0.0152 0.0199 0.0199 0.0152 0.0067 0.0094 0.0094 0.4391 0.0144 0.0137 0.0047 0.0105 0.0199 0.0152 0.0067
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3175 0.3175 0.3611 0.4048 0.4048 0.3611 0.0617 0.0873 0.0873 0.1709 0.3585 0.3558 0.0437 0.3175 0.4048 0.3611 0.0617
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0278 0.0278 0.0331 0.0384 0.0384 0.0331 0.0075 0.0106 0.0106 0.2258 0.0327 0.0323 0.0053 0.0278 0.0384 0.0331 0.0075
421-AH 0.0202 0.0202 0.0209 0.0216 0.0216 0.0209 0.0009 0.0013 0.0013 0.0443 0.0209 0.0209 0.0007 0.0202 0.0216 0.0209 0.0009
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0248 0.0248 0.0321 0.0394 0.0394 0.0321 0.0103 0.0146 0.0146 0.3211 0.0313 0.0305 0.0073 0.0248 0.0394 0.0321 0.0103
427-AH 0.0144 0.0144 0.0305 0.0466 0.0466 0.0305 0.0228 0.0323 0.0323 0.7480 0.0259 0.0220 0.0161 0.0144 0.0466 0.0305 0.0228
428-AH 0.0269 0.0269 0.0327 0.0385 0.0385 0.0327 0.0082 0.0116 0.0116 0.2503 0.0322 0.0317 0.0058 0.0269 0.0385 0.0327 0.0082
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0714 0.0714 0.0833 0.0952 0.0952 0.0833 0.0168 0.0238 0.0238 0.2020 0.0825 0.0816 0.0119 0.0714 0.0952 0.0833 0.0168
436-AH 0.0000 0.0000 0.1053 0.2105 0.2105 0.1053 0.1489 0.2105 0.2105 1.4142 0.0015 0.0000 0.1053 0.0000 0.2105 0.1053 0.1489
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0465 0.0465 0.0501 0.0536 0.0536 0.0501 0.0050 0.0071 0.0071 0.1007 0.0499 0.0498 0.0036 0.0465 0.0536 0.0501 0.0050
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.6087 0.6087 0.6225 0.6364 0.6364 0.6225 0.0196 0.0277 0.0277 0.0314 0.6224 0.6222 0.0138 0.6087 0.6364 0.6225 0.0196
443-AH 0.0000 0.0000 0.0197 0.0395 0.0395 0.0197 0.0279 0.0395 0.0395 1.4142 0.0006 0.0000 0.0197 0.0000 0.0395 0.0197 0.0279
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6667 0.6667 0.8333 1.0000 1.0000 0.8333 0.2357 0.3333 0.3333 0.2828 0.8165 0.8000 0.1667 0.6667 1.0000 0.8333 0.2357
449-AH 0.0000 0.0000 0.0090 0.0181 0.0181 0.0090 0.0128 0.0181 0.0181 1.4142 0.0004 0.0000 0.0090 0.0000 0.0181 0.0090 0.0128
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
162
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0078 0.0078 0.0094 0.0109 0.0109 0.0094 0.0022 0.0031 0.0031 0.2346 0.0093 0.0091 0.0016 0.0078 0.0109 0.0094 0.0022
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.0092 0.0092 0.0100 0.0109 0.0109 0.0100 0.0012 0.0017 0.0017 0.1196 0.0100 0.0100 0.0008 0.0092 0.0109 0.0100 0.0012
410-AH 0.0415 0.0415 0.1938 0.3462 0.3462 0.1938 0.2154 0.3047 0.3047 1.1116 0.1198 0.0741 0.1523 0.0415 0.3462 0.1938 0.2154
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3175 0.3175 0.3500 0.3826 0.3826 0.3500 0.0461 0.0651 0.0651 0.1316 0.3485 0.3470 0.0326 0.3175 0.3826 0.3500 0.0461
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0124 0.0248 0.0248 0.0124 0.0176 0.0248 0.0248 1.4142 0.0005 0.0000 0.0124 0.0000 0.0248 0.0124 0.0176
421-AH 0.0100 0.0100 0.0118 0.0136 0.0136 0.0118 0.0026 0.0036 0.0036 0.2179 0.0116 0.0115 0.0018 0.0100 0.0136 0.0118 0.0026
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0211 0.0211 0.0303 0.0394 0.0394 0.0303 0.0130 0.0183 0.0183 0.4284 0.0289 0.0275 0.0092 0.0211 0.0394 0.0303 0.0130
427-AH 0.0144 0.0144 0.0276 0.0408 0.0408 0.0276 0.0187 0.0264 0.0264 0.6778 0.0242 0.0213 0.0132 0.0144 0.0408 0.0276 0.0187
428-AH 0.0243 0.0243 0.0285 0.0328 0.0328 0.0285 0.0060 0.0085 0.0085 0.2103 0.0282 0.0279 0.0042 0.0243 0.0328 0.0285 0.0060
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0714 0.0714 0.0722 0.0730 0.0730 0.0722 0.0011 0.0016 0.0016 0.0153 0.0722 0.0722 0.0008 0.0714 0.0730 0.0722 0.0011
436-AH 0.0000 0.0000 0.0765 0.1530 0.1530 0.0765 0.1082 0.1530 0.1530 1.4142 0.0012 0.0000 0.0765 0.0000 0.1530 0.0765 0.1082
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0236 0.0236 0.0297 0.0358 0.0358 0.0297 0.0086 0.0122 0.0122 0.2904 0.0291 0.0284 0.0061 0.0236 0.0358 0.0297 0.0086
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.5862 0.5862 0.5967 0.6071 0.6071 0.5967 0.0148 0.0209 0.0209 0.0248 0.5966 0.5965 0.0105 0.5862 0.6071 0.5967 0.0148
443-AH 0.0000 0.0000 0.0197 0.0395 0.0395 0.0197 0.0279 0.0395 0.0395 1.4142 0.0006 0.0000 0.0197 0.0000 0.0395 0.0197 0.0279
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
163
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0078 0.0078 0.0094 0.0109 0.0109 0.0094 0.0022 0.0031 0.0031 0.2346 0.0093 0.0091 0.0016 0.0078 0.0109 0.0094 0.0022
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.0084 0.0084 0.0088 0.0092 0.0092 0.0088 0.0006 0.0008 0.0008 0.0657 0.0088 0.0087 0.0004 0.0084 0.0092 0.0088 0.0006
410-AH 0.0109 0.0109 0.1779 0.3448 0.3448 0.1779 0.2361 0.3339 0.3339 1.3272 0.0614 0.0212 0.1669 0.0109 0.3448 0.1779 0.2361
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3099 0.3099 0.3462 0.3826 0.3826 0.3462 0.0514 0.0727 0.0727 0.1486 0.3443 0.3424 0.0364 0.3099 0.3826 0.3462 0.0514
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.0086 0.0086 0.0092 0.0099 0.0099 0.0092 0.0009 0.0012 0.0012 0.0939 0.0092 0.0092 0.0006 0.0086 0.0099 0.0092 0.0009
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0142 0.0283 0.0283 0.0142 0.0200 0.0283 0.0283 1.4142 0.0005 0.0000 0.0142 0.0000 0.0283 0.0142 0.0200
427-AH 0.0000 0.0000 0.0114 0.0229 0.0229 0.0114 0.0162 0.0229 0.0229 1.4142 0.0005 0.0000 0.0114 0.0000 0.0229 0.0114 0.0162
428-AH 0.0166 0.0166 0.0226 0.0285 0.0285 0.0226 0.0084 0.0119 0.0119 0.3738 0.0218 0.0210 0.0060 0.0166 0.0285 0.0226 0.0084
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0714 0.0714 0.0722 0.0730 0.0730 0.0722 0.0011 0.0016 0.0016 0.0153 0.0722 0.0722 0.0008 0.0714 0.0730 0.0722 0.0011
436-AH 0.0000 0.0000 0.0675 0.1350 0.1350 0.0675 0.0955 0.1350 0.1350 1.4142 0.0012 0.0000 0.0675 0.0000 0.1350 0.0675 0.0955
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0226 0.0226 0.0285 0.0344 0.0344 0.0285 0.0083 0.0118 0.0118 0.2927 0.0279 0.0273 0.0059 0.0226 0.0344 0.0285 0.0083
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.5625 0.5625 0.5813 0.6000 0.6000 0.5813 0.0265 0.0375 0.0375 0.0456 0.5809 0.5806 0.0188 0.5625 0.6000 0.5813 0.0265
443-AH 0.0000 0.0000 0.0184 0.0368 0.0368 0.0184 0.0260 0.0368 0.0368 1.4142 0.0006 0.0000 0.0184 0.0000 0.0368 0.0184 0.0260
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
164
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0078 0.0078 0.0094 0.0109 0.0109 0.0094 0.0022 0.0031 0.0031 0.2346 0.0093 0.0091 0.0016 0.0078 0.0109 0.0094 0.0022
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.0000 0.0000 0.0046 0.0092 0.0092 0.0046 0.0065 0.0092 0.0092 1.4142 0.0003 0.0000 0.0046 0.0000 0.0092 0.0046 0.0065
410-AH 0.0000 0.0000 0.1146 0.2292 0.2292 0.1146 0.1620 0.2292 0.2292 1.4142 0.0015 0.0000 0.1146 0.0000 0.2292 0.1146 0.1620
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.2787 0.2787 0.2964 0.3141 0.3141 0.2964 0.0250 0.0354 0.0354 0.0845 0.2959 0.2953 0.0177 0.2787 0.3141 0.2964 0.0250
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0137 0.0274 0.0274 0.0137 0.0194 0.0274 0.0274 1.4142 0.0005 0.0000 0.0137 0.0000 0.0274 0.0137 0.0194
427-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0531 0.0531 0.0628 0.0724 0.0724 0.0628 0.0136 0.0192 0.0192 0.2167 0.0620 0.0613 0.0096 0.0531 0.0724 0.0628 0.0136
436-AH 0.0000 0.0000 0.0611 0.1221 0.1221 0.0611 0.0863 0.1221 0.1221 1.4142 0.0011 0.0000 0.0611 0.0000 0.1221 0.0611 0.0863
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.4878 0.4878 0.5071 0.5263 0.5263 0.5071 0.0272 0.0385 0.0385 0.0537 0.5067 0.5063 0.0193 0.4878 0.5263 0.5071 0.0272
443-AH 0.0000 0.0000 0.0121 0.0241 0.0241 0.0121 0.0171 0.0241 0.0241 1.4142 0.0005 0.0000 0.0121 0.0000 0.0241 0.0121 0.0171
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
165
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0078 0.0078 0.0094 0.0109 0.0109 0.0094 0.0022 0.0031 0.0031 0.2346 0.0093 0.0091 0.0016 0.0078 0.0109 0.0094 0.0022
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.0000 0.0000 0.0046 0.0092 0.0092 0.0046 0.0065 0.0092 0.0092 1.4142 0.0003 0.0000 0.0046 0.0000 0.0092 0.0046 0.0065
410-AH 0.0000 0.0000 0.0275 0.0550 0.0550 0.0275 0.0389 0.0550 0.0550 1.4142 0.0007 0.0000 0.0275 0.0000 0.0550 0.0275 0.0389
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.2030 0.2030 0.2131 0.2231 0.2231 0.2131 0.0142 0.0201 0.0201 0.0668 0.2128 0.2126 0.0101 0.2030 0.2231 0.2131 0.0142
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.2000 0.2000 0.2667 0.3333 0.3333 0.2667 0.0943 0.1333 0.1333 0.3536 0.2582 0.2500 0.0667 0.2000 0.3333 0.2667 0.0943
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
166
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.2000 0.2000 0.5000 0.8000 0.8000 0.5000 0.4243 0.6000 0.6000 0.8485 0.4000 0.3200 0.3000 0.2000 0.8000 0.5000 0.4243
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
426-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
427-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
428-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
441-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
442-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
167
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.2000 0.2000 0.5000 0.8000 0.8000 0.5000 0.4243 0.6000 0.6000 0.8485 0.4000 0.3200 0.3000 0.2000 0.8000 0.5000 0.4243
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.5000 0.5000 0.6000 0.7000 0.7000 0.6000 0.1414 0.2000 0.2000 0.2357 0.5916 0.5833 0.1000 0.5000 0.7000 0.6000 0.1414
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
416-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.1500 0.3000 0.3000 0.1500 0.2121 0.3000 0.3000 1.4142 0.0017 0.0000 0.1500 0.0000 0.3000 0.1500 0.2121
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
425-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
426-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
427-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
428-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
436-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
441-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
442-AH 0.5000 0.5000 0.6000 0.7000 0.7000 0.6000 0.1414 0.2000 0.2000 0.2357 0.5916 0.5833 0.1000 0.5000 0.7000 0.6000 0.1414
443-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
449-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
168
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.1333 0.1333 0.4333 0.7333 0.7333 0.4333 0.4243 0.6000 0.6000 0.9791 0.3127 0.2256 0.3000 0.1333 0.7333 0.4333 0.4243
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
416-AH 0.2000 0.2000 0.2667 0.3333 0.3333 0.2667 0.0943 0.1333 0.1333 0.3536 0.2582 0.2500 0.0667 0.2000 0.3333 0.2667 0.0943
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.1667 0.3333 0.3333 0.1667 0.2357 0.3333 0.3333 1.4142 0.0018 0.0000 0.1667 0.0000 0.3333 0.1667 0.2357
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
425-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
426-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
427-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
428-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
436-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0667 0.0943 0.1333 0.1333 1.4142 0.0012 0.0000 0.0667 0.0000 0.1333 0.0667 0.0943
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
441-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
442-AH 0.6000 0.6000 0.6667 0.7333 0.7333 0.6667 0.0943 0.1333 0.1333 0.1414 0.6633 0.6600 0.0667 0.6000 0.7333 0.6667 0.0943
443-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
449-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
169
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
403-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.1500 0.1500 0.3750 0.6000 0.6000 0.3750 0.3182 0.4500 0.4500 0.8485 0.3000 0.2400 0.2250 0.1500 0.6000 0.3750 0.3182
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.3500 0.3500 0.3750 0.4000 0.4000 0.3750 0.0354 0.0500 0.0500 0.0943 0.3742 0.3733 0.0250 0.3500 0.4000 0.3750 0.0354
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0500 0.0500 0.0750 0.1000 0.1000 0.0750 0.0354 0.0500 0.0500 0.4714 0.0707 0.0667 0.0250 0.0500 0.1000 0.0750 0.0354
416-AH 0.3000 0.3000 0.3250 0.3500 0.3500 0.3250 0.0354 0.0500 0.0500 0.1088 0.3240 0.3231 0.0250 0.3000 0.3500 0.3250 0.0354
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0500 0.0500 0.1500 0.2500 0.2500 0.1500 0.1414 0.2000 0.2000 0.9428 0.1118 0.0833 0.1000 0.0500 0.2500 0.1500 0.1414
421-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
425-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
426-AH 0.0500 0.0500 0.1000 0.1500 0.1500 0.1000 0.0707 0.1000 0.1000 0.7071 0.0866 0.0750 0.0500 0.0500 0.1500 0.1000 0.0707
427-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
428-AH 0.0500 0.0500 0.1250 0.2000 0.2000 0.1250 0.1061 0.1500 0.1500 0.8485 0.1000 0.0800 0.0750 0.0500 0.2000 0.1250 0.1061
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
436-AH 0.0000 0.0000 0.1250 0.2500 0.2500 0.1250 0.1768 0.2500 0.2500 1.4142 0.0016 0.0000 0.1250 0.0000 0.2500 0.1250 0.1768
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
440-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
441-AH 0.0500 0.0500 0.0750 0.1000 0.1000 0.0750 0.0354 0.0500 0.0500 0.4714 0.0707 0.0667 0.0250 0.0500 0.1000 0.0750 0.0354
442-AH 0.6000 0.6000 0.6250 0.6500 0.6500 0.6250 0.0354 0.0500 0.0500 0.0566 0.6245 0.6240 0.0250 0.6000 0.6500 0.6250 0.0354
443-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.1500 0.1500 0.1500 0.1500 0.1500 0.1500 0.0000 0.0000 0.0000 0.0000 0.1500 0.1500 0.0000 0.1500 0.1500 0.1500 0.0000
449-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
170
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
403-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.1000 0.1000 0.2667 0.4333 0.4333 0.2667 0.2357 0.3333 0.3333 0.8839 0.2082 0.1625 0.1667 0.1000 0.4333 0.2667 0.2357
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.2333 0.2333 0.2833 0.3333 0.3333 0.2833 0.0707 0.1000 0.1000 0.2496 0.2789 0.2745 0.0500 0.2333 0.3333 0.2833 0.0707
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
416-AH 0.3667 0.3667 0.4000 0.4333 0.4333 0.4000 0.0471 0.0667 0.0667 0.1179 0.3986 0.3972 0.0333 0.3667 0.4333 0.4000 0.0471
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0333 0.0333 0.1500 0.2667 0.2667 0.1500 0.1650 0.2333 0.2333 1.0999 0.0943 0.0593 0.1167 0.0333 0.2667 0.1500 0.1650
421-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
422-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
425-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
426-AH 0.0333 0.0333 0.0833 0.1333 0.1333 0.0833 0.0707 0.1000 0.1000 0.8485 0.0667 0.0533 0.0500 0.0333 0.1333 0.0833 0.0707
427-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
428-AH 0.0333 0.0333 0.1000 0.1667 0.1667 0.1000 0.0943 0.1333 0.1333 0.9428 0.0745 0.0556 0.0667 0.0333 0.1667 0.1000 0.0943
429-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
430-AH 0.1667 0.1667 0.1667 0.1667 0.1667 0.1667 0.0000 0.0000 0.0000 0.0000 0.1667 0.1667 0.0000 0.1667 0.1667 0.1667 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
436-AH 0.0000 0.0000 0.1167 0.2333 0.2333 0.1167 0.1650 0.2333 0.2333 1.4142 0.0015 0.0000 0.1167 0.0000 0.2333 0.1167 0.1650
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
440-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
441-AH 0.0333 0.0333 0.0500 0.0667 0.0667 0.0500 0.0236 0.0333 0.0333 0.4714 0.0471 0.0444 0.0167 0.0333 0.0667 0.0500 0.0236
442-AH 0.5667 0.5667 0.5833 0.6000 0.6000 0.5833 0.0236 0.0333 0.0333 0.0404 0.5831 0.5829 0.0167 0.5667 0.6000 0.5833 0.0236
443-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
449-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
171
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0300 0.0300 0.0350 0.0400 0.0400 0.0350 0.0071 0.0100 0.0100 0.2020 0.0346 0.0343 0.0050 0.0300 0.0400 0.0350 0.0071
403-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
408-AH 0.0500 0.0500 0.1250 0.2000 0.2000 0.1250 0.1061 0.1500 0.1500 0.8485 0.1000 0.0800 0.0750 0.0500 0.2000 0.1250 0.1061
409-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
410-AH 0.0700 0.0700 0.0900 0.1100 0.1100 0.0900 0.0283 0.0400 0.0400 0.3143 0.0877 0.0856 0.0200 0.0700 0.1100 0.0900 0.0283
411-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
416-AH 0.3000 0.3000 0.3350 0.3700 0.3700 0.3350 0.0495 0.0700 0.0700 0.1478 0.3332 0.3313 0.0350 0.3000 0.3700 0.3350 0.0495
417-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
418-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0100 0.0141 0.0200 0.0200 1.4142 0.0004 0.0000 0.0100 0.0000 0.0200 0.0100 0.0141
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0400 0.0400 0.0750 0.1100 0.1100 0.0750 0.0495 0.0700 0.0700 0.6600 0.0663 0.0587 0.0350 0.0400 0.1100 0.0750 0.0495
421-AH 0.0100 0.0100 0.0200 0.0300 0.0300 0.0200 0.0141 0.0200 0.0200 0.7071 0.0173 0.0150 0.0100 0.0100 0.0300 0.0200 0.0141
422-AH 0.0200 0.0200 0.0250 0.0300 0.0300 0.0250 0.0071 0.0100 0.0100 0.2828 0.0245 0.0240 0.0050 0.0200 0.0300 0.0250 0.0071
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
425-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
426-AH 0.0400 0.0400 0.0600 0.0800 0.0800 0.0600 0.0283 0.0400 0.0400 0.4714 0.0566 0.0533 0.0200 0.0400 0.0800 0.0600 0.0283
427-AH 0.0100 0.0100 0.0300 0.0500 0.0500 0.0300 0.0283 0.0400 0.0400 0.9428 0.0224 0.0167 0.0200 0.0100 0.0500 0.0300 0.0283
428-AH 0.0400 0.0400 0.0500 0.0600 0.0600 0.0500 0.0141 0.0200 0.0200 0.2828 0.0490 0.0480 0.0100 0.0400 0.0600 0.0500 0.0141
429-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
430-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000
431-AH 0.0200 0.0200 0.0250 0.0300 0.0300 0.0250 0.0071 0.0100 0.0100 0.2828 0.0245 0.0240 0.0050 0.0200 0.0300 0.0250 0.0071
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0700 0.0700 0.0750 0.0800 0.0800 0.0750 0.0071 0.0100 0.0100 0.0943 0.0748 0.0747 0.0050 0.0700 0.0800 0.0750 0.0071
436-AH 0.0300 0.0300 0.1300 0.2300 0.2300 0.1300 0.1414 0.2000 0.2000 1.0879 0.0831 0.0531 0.1000 0.0300 0.2300 0.1300 0.1414
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
439-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0100 0.0141 0.0200 0.0200 1.4142 0.0004 0.0000 0.0100 0.0000 0.0200 0.0100 0.0141
440-AH 0.0800 0.0800 0.0850 0.0900 0.0900 0.0850 0.0071 0.0100 0.0100 0.0832 0.0849 0.0847 0.0050 0.0800 0.0900 0.0850 0.0071
441-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
442-AH 0.2100 0.2100 0.2150 0.2200 0.2200 0.2150 0.0071 0.0100 0.0100 0.0329 0.2149 0.2149 0.0050 0.2100 0.2200 0.2150 0.0071
443-AH 0.0300 0.0300 0.0400 0.0500 0.0500 0.0400 0.0141 0.0200 0.0200 0.3536 0.0387 0.0375 0.0100 0.0300 0.0500 0.0400 0.0141
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
449-AH 0.0400 0.0400 0.0550 0.0700 0.0700 0.0550 0.0212 0.0300 0.0300 0.3857 0.0529 0.0509 0.0150 0.0400 0.0700 0.0550 0.0212
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
172
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0350 0.0350 0.0375 0.0400 0.0400 0.0375 0.0035 0.0050 0.0050 0.0943 0.0374 0.0373 0.0025 0.0350 0.0400 0.0375 0.0035
403-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
408-AH 0.0400 0.0400 0.0775 0.1150 0.1150 0.0775 0.0530 0.0750 0.0750 0.6843 0.0678 0.0594 0.0375 0.0400 0.1150 0.0775 0.0530
409-AH 0.0250 0.0250 0.0275 0.0300 0.0300 0.0275 0.0035 0.0050 0.0050 0.1286 0.0274 0.0273 0.0025 0.0250 0.0300 0.0275 0.0035
410-AH 0.0400 0.0400 0.0475 0.0550 0.0550 0.0475 0.0106 0.0150 0.0150 0.2233 0.0469 0.0463 0.0075 0.0400 0.0550 0.0475 0.0106
411-AH 0.0100 0.0100 0.0125 0.0150 0.0150 0.0125 0.0035 0.0050 0.0050 0.2828 0.0122 0.0120 0.0025 0.0100 0.0150 0.0125 0.0035
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0250 0.0250 0.0275 0.0300 0.0300 0.0275 0.0035 0.0050 0.0050 0.1286 0.0274 0.0273 0.0025 0.0250 0.0300 0.0275 0.0035
416-AH 0.2550 0.2550 0.2550 0.2550 0.2550 0.2550 0.0000 0.0000 0.0000 0.0000 0.2550 0.2550 0.0000 0.2550 0.2550 0.2550 0.0000
417-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
418-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0450 0.0450 0.0550 0.0650 0.0650 0.0550 0.0141 0.0200 0.0200 0.2571 0.0541 0.0532 0.0100 0.0450 0.0650 0.0550 0.0141
421-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
422-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
425-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
426-AH 0.0350 0.0350 0.0425 0.0500 0.0500 0.0425 0.0106 0.0150 0.0150 0.2496 0.0418 0.0412 0.0075 0.0350 0.0500 0.0425 0.0106
427-AH 0.0150 0.0150 0.0300 0.0450 0.0450 0.0300 0.0212 0.0300 0.0300 0.7071 0.0260 0.0225 0.0150 0.0150 0.0450 0.0300 0.0212
428-AH 0.0400 0.0400 0.0425 0.0450 0.0450 0.0425 0.0035 0.0050 0.0050 0.0832 0.0424 0.0424 0.0025 0.0400 0.0450 0.0425 0.0035
429-AH 0.0100 0.0100 0.0125 0.0150 0.0150 0.0125 0.0035 0.0050 0.0050 0.2828 0.0122 0.0120 0.0025 0.0100 0.0150 0.0125 0.0035
430-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
431-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0500 0.0500 0.0525 0.0550 0.0550 0.0525 0.0035 0.0050 0.0050 0.0673 0.0524 0.0524 0.0025 0.0500 0.0550 0.0525 0.0035
436-AH 0.0200 0.0200 0.0825 0.1450 0.1450 0.0825 0.0884 0.1250 0.1250 1.0714 0.0539 0.0352 0.0625 0.0200 0.1450 0.0825 0.0884
437-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0035 0.0050 0.0050 1.4142 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0035
438-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
439-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
440-AH 0.0550 0.0550 0.0575 0.0600 0.0600 0.0575 0.0035 0.0050 0.0050 0.0615 0.0574 0.0574 0.0025 0.0550 0.0600 0.0575 0.0035
441-AH 0.0050 0.0050 0.0100 0.0150 0.0150 0.0100 0.0071 0.0100 0.0100 0.7071 0.0087 0.0075 0.0050 0.0050 0.0150 0.0100 0.0071
442-AH 0.1100 0.1100 0.1100 0.1100 0.1100 0.1100 0.0000 0.0000 0.0000 0.0000 0.1100 0.1100 0.0000 0.1100 0.1100 0.1100 0.0000
443-AH 0.0250 0.0250 0.0325 0.0400 0.0400 0.0325 0.0106 0.0150 0.0150 0.3264 0.0316 0.0308 0.0075 0.0250 0.0400 0.0325 0.0106
444-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
449-AH 0.0300 0.0300 0.0400 0.0500 0.0500 0.0400 0.0141 0.0200 0.0200 0.3536 0.0387 0.0375 0.0100 0.0300 0.0500 0.0400 0.0141
450-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0035 0.0050 0.0050 1.4142 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0035
173
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0240 0.0240 0.0270 0.0300 0.0300 0.0270 0.0042 0.0060 0.0060 0.1571 0.0268 0.0267 0.0030 0.0240 0.0300 0.0270 0.0042
403-AH 0.0020 0.0020 0.0060 0.0100 0.0100 0.0060 0.0057 0.0080 0.0080 0.9428 0.0045 0.0033 0.0040 0.0020 0.0100 0.0060 0.0057
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0014 0.0020 0.0020 1.4142 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0014
407-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
408-AH 0.0300 0.0300 0.0410 0.0520 0.0520 0.0410 0.0156 0.0220 0.0220 0.3794 0.0395 0.0380 0.0110 0.0300 0.0520 0.0410 0.0156
409-AH 0.0120 0.0120 0.0120 0.0120 0.0120 0.0120 0.0000 0.0000 0.0000 0.0000 0.0120 0.0120 0.0000 0.0120 0.0120 0.0120 0.0000
410-AH 0.0180 0.0180 0.0210 0.0240 0.0240 0.0210 0.0042 0.0060 0.0060 0.2020 0.0208 0.0206 0.0030 0.0180 0.0240 0.0210 0.0042
411-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
412-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
413-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
414-AH 0.0020 0.0020 0.0060 0.0100 0.0100 0.0060 0.0057 0.0080 0.0080 0.9428 0.0045 0.0033 0.0040 0.0020 0.0100 0.0060 0.0057
415-AH 0.0180 0.0180 0.0190 0.0200 0.0200 0.0190 0.0014 0.0020 0.0020 0.0744 0.0190 0.0189 0.0010 0.0180 0.0200 0.0190 0.0014
416-AH 0.1080 0.1080 0.1080 0.1080 0.1080 0.1080 0.0000 0.0000 0.0000 0.0000 0.1080 0.1080 0.0000 0.1080 0.1080 0.1080 0.0000
417-AH 0.0000 0.0000 0.0040 0.0080 0.0080 0.0040 0.0057 0.0080 0.0080 1.4142 0.0003 0.0000 0.0040 0.0000 0.0080 0.0040 0.0057
418-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0320 0.0320 0.0350 0.0380 0.0380 0.0350 0.0042 0.0060 0.0060 0.1212 0.0349 0.0347 0.0030 0.0320 0.0380 0.0350 0.0042
421-AH 0.0100 0.0100 0.0110 0.0120 0.0120 0.0110 0.0014 0.0020 0.0020 0.1286 0.0110 0.0109 0.0010 0.0100 0.0120 0.0110 0.0014
422-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
423-AH 0.0000 0.0000 0.0020 0.0040 0.0040 0.0020 0.0028 0.0040 0.0040 1.4142 0.0002 0.0000 0.0020 0.0000 0.0040 0.0020 0.0028
424-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
425-AH 0.0020 0.0020 0.0030 0.0040 0.0040 0.0030 0.0014 0.0020 0.0020 0.4714 0.0028 0.0027 0.0010 0.0020 0.0040 0.0030 0.0014
426-AH 0.0280 0.0280 0.0310 0.0340 0.0340 0.0310 0.0042 0.0060 0.0060 0.1369 0.0309 0.0307 0.0030 0.0280 0.0340 0.0310 0.0042
427-AH 0.0120 0.0120 0.0170 0.0220 0.0220 0.0170 0.0071 0.0100 0.0100 0.4159 0.0162 0.0155 0.0050 0.0120 0.0220 0.0170 0.0071
428-AH 0.0240 0.0240 0.0260 0.0280 0.0280 0.0260 0.0028 0.0040 0.0040 0.1088 0.0259 0.0258 0.0020 0.0240 0.0280 0.0260 0.0028
429-AH 0.0180 0.0180 0.0190 0.0200 0.0200 0.0190 0.0014 0.0020 0.0020 0.0744 0.0190 0.0189 0.0010 0.0180 0.0200 0.0190 0.0014
430-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
431-AH 0.0140 0.0140 0.0160 0.0180 0.0180 0.0160 0.0028 0.0040 0.0040 0.1768 0.0159 0.0157 0.0020 0.0140 0.0180 0.0160 0.0028
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0020 0.0020 0.0030 0.0040 0.0040 0.0030 0.0014 0.0020 0.0020 0.4714 0.0028 0.0027 0.0010 0.0020 0.0040 0.0030 0.0014
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
436-AH 0.0140 0.0140 0.0460 0.0780 0.0780 0.0460 0.0453 0.0640 0.0640 0.9838 0.0330 0.0237 0.0320 0.0140 0.0780 0.0460 0.0453
437-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
438-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
439-AH 0.0000 0.0000 0.0020 0.0040 0.0040 0.0020 0.0028 0.0040 0.0040 1.4142 0.0002 0.0000 0.0020 0.0000 0.0040 0.0020 0.0028
440-AH 0.0280 0.0280 0.0310 0.0340 0.0340 0.0310 0.0042 0.0060 0.0060 0.1369 0.0309 0.0307 0.0030 0.0280 0.0340 0.0310 0.0042
441-AH 0.0040 0.0040 0.0080 0.0120 0.0120 0.0080 0.0057 0.0080 0.0080 0.7071 0.0069 0.0060 0.0040 0.0040 0.0120 0.0080 0.0057
442-AH 0.0440 0.0440 0.0440 0.0440 0.0440 0.0440 0.0000 0.0000 0.0000 0.0000 0.0440 0.0440 0.0000 0.0440 0.0440 0.0440 0.0000
443-AH 0.0100 0.0100 0.0230 0.0360 0.0360 0.0230 0.0184 0.0260 0.0260 0.7993 0.0190 0.0157 0.0130 0.0100 0.0360 0.0230 0.0184
444-AH 0.0020 0.0020 0.0030 0.0040 0.0040 0.0030 0.0014 0.0020 0.0020 0.4714 0.0028 0.0027 0.0010 0.0020 0.0040 0.0030 0.0014
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0014 0.0020 0.0020 1.4142 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0014
447-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
448-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
449-AH 0.0200 0.0200 0.0230 0.0260 0.0260 0.0230 0.0042 0.0060 0.0060 0.1845 0.0228 0.0226 0.0030 0.0200 0.0260 0.0230 0.0042
450-AH 0.0020 0.0020 0.0030 0.0040 0.0040 0.0030 0.0014 0.0020 0.0020 0.4714 0.0028 0.0027 0.0010 0.0020 0.0040 0.0030 0.0014
174
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2BG-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0210 0.0210 0.0210 0.0210 0.0210 0.0210 0.0000 0.0000 0.0000 0.0000 0.0210 0.0210 0.0000 0.0210 0.0210 0.0210 0.0000
403-AH 0.0010 0.0010 0.0045 0.0080 0.0080 0.0045 0.0049 0.0070 0.0070 1.0999 0.0028 0.0018 0.0035 0.0010 0.0080 0.0045 0.0049
404-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0007 0.0010 0.0010 1.4142 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0007
405-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0007 0.0010 0.0010 1.4142 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0007
406-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
407-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
408-AH 0.0170 0.0170 0.0220 0.0270 0.0270 0.0220 0.0071 0.0100 0.0100 0.3214 0.0214 0.0209 0.0050 0.0170 0.0270 0.0220 0.0071
409-AH 0.0080 0.0080 0.0085 0.0090 0.0090 0.0085 0.0007 0.0010 0.0010 0.0832 0.0085 0.0085 0.0005 0.0080 0.0090 0.0085 0.0007
410-AH 0.0100 0.0100 0.0110 0.0120 0.0120 0.0110 0.0014 0.0020 0.0020 0.1286 0.0110 0.0109 0.0010 0.0100 0.0120 0.0110 0.0014
411-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
412-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
413-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
414-AH 0.0020 0.0020 0.0050 0.0080 0.0080 0.0050 0.0042 0.0060 0.0060 0.8485 0.0040 0.0032 0.0030 0.0020 0.0080 0.0050 0.0042
415-AH 0.0120 0.0120 0.0125 0.0130 0.0130 0.0125 0.0007 0.0010 0.0010 0.0566 0.0125 0.0125 0.0005 0.0120 0.0130 0.0125 0.0007
416-AH 0.0540 0.0540 0.0540 0.0540 0.0540 0.0540 0.0000 0.0000 0.0000 0.0000 0.0540 0.0540 0.0000 0.0540 0.0540 0.0540 0.0000
417-AH 0.0040 0.0040 0.0050 0.0060 0.0060 0.0050 0.0014 0.0020 0.0020 0.2828 0.0049 0.0048 0.0010 0.0040 0.0060 0.0050 0.0014
418-AH 0.0060 0.0060 0.0070 0.0080 0.0080 0.0070 0.0014 0.0020 0.0020 0.2020 0.0069 0.0069 0.0010 0.0060 0.0080 0.0070 0.0014
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0210 0.0210 0.0215 0.0220 0.0220 0.0215 0.0007 0.0010 0.0010 0.0329 0.0215 0.0215 0.0005 0.0210 0.0220 0.0215 0.0007
421-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000
422-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
423-AH 0.0010 0.0010 0.0030 0.0050 0.0050 0.0030 0.0028 0.0040 0.0040 0.9428 0.0022 0.0017 0.0020 0.0010 0.0050 0.0030 0.0028
424-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
425-AH 0.0030 0.0030 0.0040 0.0050 0.0050 0.0040 0.0014 0.0020 0.0020 0.3536 0.0039 0.0037 0.0010 0.0030 0.0050 0.0040 0.0014
426-AH 0.0190 0.0190 0.0210 0.0230 0.0230 0.0210 0.0028 0.0040 0.0040 0.1347 0.0209 0.0208 0.0020 0.0190 0.0230 0.0210 0.0028
427-AH 0.0100 0.0100 0.0110 0.0120 0.0120 0.0110 0.0014 0.0020 0.0020 0.1286 0.0110 0.0109 0.0010 0.0100 0.0120 0.0110 0.0014
428-AH 0.0150 0.0150 0.0155 0.0160 0.0160 0.0155 0.0007 0.0010 0.0010 0.0456 0.0155 0.0155 0.0005 0.0150 0.0160 0.0155 0.0007
429-AH 0.0100 0.0100 0.0110 0.0120 0.0120 0.0110 0.0014 0.0020 0.0020 0.1286 0.0110 0.0109 0.0010 0.0100 0.0120 0.0110 0.0014
430-AH 0.0130 0.0130 0.0130 0.0130 0.0130 0.0130 0.0000 0.0000 0.0000 0.0000 0.0130 0.0130 0.0000 0.0130 0.0130 0.0130 0.0000
431-AH 0.0120 0.0120 0.0125 0.0130 0.0130 0.0125 0.0007 0.0010 0.0010 0.0566 0.0125 0.0125 0.0005 0.0120 0.0130 0.0125 0.0007
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
434-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
435-AH 0.0110 0.0110 0.0110 0.0110 0.0110 0.0110 0.0000 0.0000 0.0000 0.0000 0.0110 0.0110 0.0000 0.0110 0.0110 0.0110 0.0000
436-AH 0.0120 0.0120 0.0255 0.0390 0.0390 0.0255 0.0191 0.0270 0.0270 0.7487 0.0216 0.0184 0.0135 0.0120 0.0390 0.0255 0.0191
437-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
438-AH 0.0050 0.0050 0.0055 0.0060 0.0060 0.0055 0.0007 0.0010 0.0010 0.1286 0.0055 0.0055 0.0005 0.0050 0.0060 0.0055 0.0007
439-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
440-AH 0.0180 0.0180 0.0185 0.0190 0.0190 0.0185 0.0007 0.0010 0.0010 0.0382 0.0185 0.0185 0.0005 0.0180 0.0190 0.0185 0.0007
441-AH 0.0050 0.0050 0.0055 0.0060 0.0060 0.0055 0.0007 0.0010 0.0010 0.1286 0.0055 0.0055 0.0005 0.0050 0.0060 0.0055 0.0007
442-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
443-AH 0.0060 0.0060 0.0135 0.0210 0.0210 0.0135 0.0106 0.0150 0.0150 0.7857 0.0112 0.0093 0.0075 0.0060 0.0210 0.0135 0.0106
444-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
447-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0007 0.0010 0.0010 1.4142 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0007
448-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
449-AH 0.0130 0.0130 0.0135 0.0140 0.0140 0.0135 0.0007 0.0010 0.0010 0.0524 0.0135 0.0135 0.0005 0.0130 0.0140 0.0135 0.0007
450-AH 0.0020 0.0020 0.0040 0.0060 0.0060 0.0040 0.0028 0.0040 0.0040 0.7071 0.0035 0.0030 0.0020 0.0020 0.0060 0.0040 0.0028
175
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Ad−Hoc Bilingual Czech Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
jhu−apl [Experiment APLBIENCSTD4; MAP 21.43%; Pooled]
90%
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Czech Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
jhu−apl [Experiment APLBIENCSTD4; MAP 21.43%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Bilingual Czech Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
jhu−apl [Experiment APLBIENCSTD4; MAP 21.43%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
176
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Ad−Hoc Bilingual Czech Task − Box Plot of the Topics
jhu−apl [Experiment APLBIENCSTD4; MAP 21.43%; Pooled]
Experiments
jhu−apl [Experiment APLBIENCSTD5; MAP 20.78%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
177
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
10.2455/TUKEY_T_TEST.D1ED75E058863FF1C8D6C13395CF4C87
Ad−Hoc Bilingual Czech Task − Tukey T test with "top group" highlighted
APLBIENCSTD4
Experiments
APLBIENCSTD5
0.38 0.385 0.39 0.395 0.4 0.405 0.41 0.415 0.42
arcsin(sqrt(Average Precsion))
178
179
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Ad−Hoc Bilingual Czech Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
jhu−apl [Experiment APLBIENCSTD4; R−Prec 21.35%; Pooled]
90%
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Czech Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
jhu−apl [Experiment APLBIENCSTD4; R−Prec 21.35%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Bilingual Czech Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
jhu−apl [Experiment APLBIENCSTD4; R−Prec 21.35%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
180
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Ad−Hoc Bilingual Czech Task − Box Plot of the Topics
jhu−apl [Experiment APLBIENCSTD4; R−Prec 21.35%; Pooled]
Experiments
jhu−apl [Experiment APLBIENCSTD5; R−Prec 20.13%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
181
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Ad−Hoc Bilingual Czech Task − Tukey T test with "top group" highlighted
APLBIENCSTD4
Experiments
APLBIENCSTD5
0.34 0.35 0.36 0.37 0.38 0.39 0.4 0.41
arcsin(sqrt(R−Precision))
182
183
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 6.00 6.00 6.00 6.00 6.00 6.00 0.00 0.00 0.00 0.00 6.00 6.00 0.00 6.00 6.00 6.00 0.00
402-AH 33.00 33.00 33.50 34.00 34.00 33.50 0.71 1.00 1.00 0.02 33.50 33.49 0.50 33.00 34.00 33.50 0.71
403-AH 4.00 4.00 4.50 5.00 5.00 4.50 0.71 1.00 1.00 0.16 4.47 4.44 0.50 4.00 5.00 4.50 0.71
404-AH 39.00 39.00 40.50 42.00 42.00 40.50 2.12 3.00 3.00 0.05 40.47 40.44 1.50 39.00 42.00 40.50 2.12
405-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00
406-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.71 1.00 1.00 1.41 0.00 0.00 0.50 0.00 1.00 0.50 0.71
407-AH 6.00 6.00 6.50 7.00 7.00 6.50 0.71 1.00 1.00 0.11 6.48 6.46 0.50 6.00 7.00 6.50 0.71
408-AH 12.00 12.00 13.00 14.00 14.00 13.00 1.41 2.00 2.00 0.11 12.96 12.92 1.00 12.00 14.00 13.00 1.41
409-AH 4.00 4.00 4.50 5.00 5.00 4.50 0.71 1.00 1.00 0.16 4.47 4.44 0.50 4.00 5.00 4.50 0.71
410-AH 16.00 16.00 16.00 16.00 16.00 16.00 0.00 0.00 0.00 0.00 16.00 16.00 0.00 16.00 16.00 16.00 0.00
411-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
412-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
413-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
414-AH 8.00 8.00 8.50 9.00 9.00 8.50 0.71 1.00 1.00 0.08 8.49 8.47 0.50 8.00 9.00 8.50 0.71
415-AH 10.00 10.00 12.50 15.00 15.00 12.50 3.54 5.00 5.00 0.28 12.25 12.00 2.50 10.00 15.00 12.50 3.54
416-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
417-AH 6.00 6.00 9.50 13.00 13.00 9.50 4.95 7.00 7.00 0.52 8.83 8.21 3.50 6.00 13.00 9.50 4.95
418-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00
419-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
420-AH 7.00 7.00 7.50 8.00 8.00 7.50 0.71 1.00 1.00 0.09 7.48 7.47 0.50 7.00 8.00 7.50 0.71
421-AH 6.00 6.00 6.00 6.00 6.00 6.00 0.00 0.00 0.00 0.00 6.00 6.00 0.00 6.00 6.00 6.00 0.00
422-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
423-AH 6.00 6.00 6.00 6.00 6.00 6.00 0.00 0.00 0.00 0.00 6.00 6.00 0.00 6.00 6.00 6.00 0.00
424-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
425-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.71 1.00 1.00 1.41 0.00 0.00 0.50 0.00 1.00 0.50 0.71
426-AH 18.00 18.00 19.00 20.00 20.00 19.00 1.41 2.00 2.00 0.07 18.97 18.95 1.00 18.00 20.00 19.00 1.41
427-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00
428-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00
429-AH 23.00 23.00 24.00 25.00 25.00 24.00 1.41 2.00 2.00 0.06 23.98 23.96 1.00 23.00 25.00 24.00 1.41
430-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
431-AH 22.00 22.00 22.00 22.00 22.00 22.00 0.00 0.00 0.00 0.00 22.00 22.00 0.00 22.00 22.00 22.00 0.00
432-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00
433-AH 19.00 19.00 19.00 19.00 19.00 19.00 0.00 0.00 0.00 0.00 19.00 19.00 0.00 19.00 19.00 19.00 0.00
434-AH 13.00 13.00 13.00 13.00 13.00 13.00 0.00 0.00 0.00 0.00 13.00 13.00 0.00 13.00 13.00 13.00 0.00
435-AH 20.00 20.00 20.00 20.00 20.00 20.00 0.00 0.00 0.00 0.00 20.00 20.00 0.00 20.00 20.00 20.00 0.00
436-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
437-AH 5.00 5.00 5.50 6.00 6.00 5.50 0.71 1.00 1.00 0.13 5.48 5.45 0.50 5.00 6.00 5.50 0.71
438-AH 11.00 11.00 20.50 30.00 30.00 20.50 13.44 19.00 19.00 0.66 18.17 16.10 9.50 11.00 30.00 20.50 13.44
439-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
440-AH 41.00 41.00 41.50 42.00 42.00 41.50 0.71 1.00 1.00 0.02 41.50 41.49 0.50 41.00 42.00 41.50 0.71
441-AH 6.00 6.00 6.50 7.00 7.00 6.50 0.71 1.00 1.00 0.11 6.48 6.46 0.50 6.00 7.00 6.50 0.71
442-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00
443-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
444-AH 17.00 17.00 17.00 17.00 17.00 17.00 0.00 0.00 0.00 0.00 17.00 17.00 0.00 17.00 17.00 17.00 0.00
445-AH 1.00 1.00 1.50 2.00 2.00 1.50 0.71 1.00 1.00 0.47 1.41 1.33 0.50 1.00 2.00 1.50 0.71
446-AH 16.00 16.00 16.50 17.00 17.00 16.50 0.71 1.00 1.00 0.04 16.49 16.48 0.50 16.00 17.00 16.50 0.71
447-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00
448-AH 10.00 10.00 10.00 10.00 10.00 10.00 0.00 0.00 0.00 0.00 10.00 10.00 0.00 10.00 10.00 10.00 0.00
449-AH 7.00 7.00 8.50 10.00 10.00 8.50 2.12 3.00 3.00 0.25 8.37 8.24 1.50 7.00 10.00 8.50 2.12
450-AH 3.00 3.00 4.50 6.00 6.00 4.50 2.12 3.00 3.00 0.47 4.24 4.00 1.50 3.00 6.00 4.50 2.12
184
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0225 0.0225 0.0253 0.0280 0.0280 0.0253 0.0039 0.0055 0.0055 0.1544 0.0251 0.0250 0.0028 0.0225 0.0280 0.0253 0.0039
402-AH 0.2183 0.2183 0.2252 0.2321 0.2321 0.2252 0.0098 0.0138 0.0138 0.0433 0.2251 0.2250 0.0069 0.2183 0.2321 0.2252 0.0098
403-AH 0.0121 0.0121 0.0204 0.0287 0.0287 0.0204 0.0118 0.0167 0.0167 0.5773 0.0186 0.0170 0.0083 0.0121 0.0287 0.0204 0.0118
404-AH 0.1146 0.1146 0.1202 0.1259 0.1259 0.1202 0.0080 0.0113 0.0113 0.0665 0.1201 0.1200 0.0057 0.1146 0.1259 0.1202 0.0080
405-AH 0.4653 0.4653 0.4986 0.5320 0.5320 0.4986 0.0472 0.0667 0.0667 0.0946 0.4975 0.4964 0.0333 0.4653 0.5320 0.4986 0.0472
406-AH 0.0000 0.0000 0.0000 0.0001 0.0001 0.0000 0.0001 0.0001 0.0001 1.4142 0.0000 0.0000 0.0000 0.0000 0.0001 0.0000 0.0001
407-AH 0.0135 0.0135 0.0232 0.0329 0.0329 0.0232 0.0137 0.0194 0.0194 0.5908 0.0211 0.0191 0.0097 0.0135 0.0329 0.0232 0.0137
408-AH 0.1471 0.1471 0.3730 0.5988 0.5988 0.3730 0.3194 0.4517 0.4517 0.8564 0.2968 0.2362 0.2259 0.1471 0.5988 0.3730 0.3194
409-AH 0.0495 0.0495 0.0745 0.0996 0.0996 0.0745 0.0354 0.0501 0.0501 0.4755 0.0702 0.0661 0.0251 0.0495 0.0996 0.0745 0.0354
410-AH 0.8826 0.8826 0.8920 0.9014 0.9014 0.8920 0.0133 0.0188 0.0188 0.0149 0.8919 0.8919 0.0094 0.8826 0.9014 0.8920 0.0133
411-AH 0.0130 0.0130 0.0196 0.0261 0.0261 0.0196 0.0092 0.0131 0.0131 0.4721 0.0184 0.0174 0.0065 0.0130 0.0261 0.0196 0.0092
412-AH 0.0002 0.0002 0.0003 0.0004 0.0004 0.0003 0.0001 0.0001 0.0001 0.2922 0.0003 0.0003 0.0001 0.0002 0.0004 0.0003 0.0001
413-AH 0.0436 0.0436 0.0612 0.0788 0.0788 0.0612 0.0249 0.0352 0.0352 0.4072 0.0586 0.0561 0.0176 0.0436 0.0788 0.0612 0.0249
414-AH 0.0435 0.0435 0.0661 0.0888 0.0888 0.0661 0.0320 0.0452 0.0452 0.4832 0.0622 0.0584 0.0226 0.0435 0.0888 0.0661 0.0320
415-AH 0.0292 0.0292 0.0349 0.0406 0.0406 0.0349 0.0081 0.0114 0.0114 0.2306 0.0345 0.0340 0.0057 0.0292 0.0406 0.0349 0.0081
416-AH 0.2930 0.2930 0.3034 0.3138 0.3138 0.3034 0.0146 0.0207 0.0207 0.0483 0.3032 0.3031 0.0104 0.2930 0.3138 0.3034 0.0146
417-AH 0.0008 0.0008 0.0028 0.0047 0.0047 0.0028 0.0028 0.0039 0.0039 1.0042 0.0019 0.0014 0.0020 0.0008 0.0047 0.0028 0.0028
418-AH 0.6196 0.6196 0.7089 0.7982 0.7982 0.7089 0.1263 0.1786 0.1786 0.1781 0.7033 0.6977 0.0893 0.6196 0.7982 0.7089 0.1263
419-AH 0.0109 0.0109 0.0264 0.0418 0.0418 0.0264 0.0218 0.0309 0.0309 0.8283 0.0214 0.0173 0.0154 0.0109 0.0418 0.0264 0.0218
420-AH 0.0260 0.0260 0.0293 0.0325 0.0325 0.0293 0.0047 0.0066 0.0066 0.1593 0.0291 0.0289 0.0033 0.0260 0.0325 0.0293 0.0047
421-AH 0.1781 0.1781 0.1991 0.2202 0.2202 0.1991 0.0298 0.0421 0.0421 0.1495 0.1980 0.1969 0.0211 0.1781 0.2202 0.1991 0.0298
422-AH 0.0002 0.0002 0.0008 0.0014 0.0014 0.0008 0.0008 0.0012 0.0012 1.0146 0.0006 0.0004 0.0006 0.0002 0.0014 0.0008 0.0008
423-AH 0.6416 0.6416 0.6444 0.6472 0.6472 0.6444 0.0039 0.0056 0.0056 0.0061 0.6444 0.6444 0.0028 0.6416 0.6472 0.6444 0.0039
424-AH 0.1267 0.1267 0.2025 0.2784 0.2784 0.2025 0.1072 0.1517 0.1517 0.5295 0.1878 0.1742 0.0758 0.1267 0.2784 0.2025 0.1072
425-AH 0.0000 0.0000 0.0002 0.0003 0.0003 0.0002 0.0002 0.0003 0.0003 1.4142 0.0001 0.0000 0.0002 0.0000 0.0003 0.0002 0.0002
426-AH 0.0581 0.0581 0.0686 0.0791 0.0791 0.0686 0.0148 0.0210 0.0210 0.2159 0.0678 0.0670 0.0105 0.0581 0.0791 0.0686 0.0148
427-AH 0.3256 0.3256 0.3564 0.3871 0.3871 0.3564 0.0435 0.0615 0.0615 0.1220 0.3551 0.3537 0.0308 0.3256 0.3871 0.3564 0.0435
428-AH 0.1277 0.1277 0.1589 0.1901 0.1901 0.1589 0.0441 0.0624 0.0624 0.2776 0.1558 0.1528 0.0312 0.1277 0.1901 0.1589 0.0441
429-AH 0.0664 0.0664 0.0727 0.0789 0.0789 0.0727 0.0088 0.0125 0.0125 0.1213 0.0724 0.0721 0.0062 0.0664 0.0789 0.0727 0.0088
430-AH 0.0194 0.0194 0.0326 0.0458 0.0458 0.0326 0.0187 0.0264 0.0264 0.5735 0.0298 0.0272 0.0132 0.0194 0.0458 0.0326 0.0187
431-AH 0.6312 0.6312 0.6470 0.6629 0.6629 0.6470 0.0224 0.0317 0.0317 0.0346 0.6468 0.6466 0.0159 0.6312 0.6629 0.6470 0.0224
432-AH 0.6464 0.6464 0.6464 0.6464 0.6464 0.6464 0.0000 0.0000 0.0000 0.0000 0.6464 0.6464 0.0000 0.6464 0.6464 0.6464 0.0000
433-AH 0.3236 0.3236 0.3927 0.4618 0.4618 0.3927 0.0977 0.1382 0.1382 0.2489 0.3866 0.3805 0.0691 0.3236 0.4618 0.3927 0.0977
434-AH 0.9589 0.9589 0.9767 0.9945 0.9945 0.9767 0.0251 0.0356 0.0356 0.0257 0.9766 0.9764 0.0178 0.9589 0.9945 0.9767 0.0251
435-AH 0.2569 0.2569 0.2588 0.2607 0.2607 0.2588 0.0027 0.0038 0.0038 0.0103 0.2588 0.2588 0.0019 0.2569 0.2607 0.2588 0.0027
436-AH 0.0006 0.0006 0.0007 0.0009 0.0009 0.0007 0.0002 0.0003 0.0003 0.3137 0.0007 0.0007 0.0002 0.0006 0.0009 0.0007 0.0002
437-AH 0.0149 0.0149 0.0250 0.0351 0.0351 0.0250 0.0143 0.0202 0.0202 0.5708 0.0229 0.0209 0.0101 0.0149 0.0351 0.0250 0.0143
438-AH 0.0153 0.0153 0.1103 0.2053 0.2053 0.1103 0.1344 0.1900 0.1900 1.2186 0.0560 0.0284 0.0950 0.0153 0.2053 0.1103 0.1344
439-AH 0.0005 0.0005 0.0017 0.0029 0.0029 0.0017 0.0017 0.0024 0.0024 0.9987 0.0012 0.0009 0.0012 0.0005 0.0029 0.0017 0.0017
440-AH 0.3261 0.3261 0.3795 0.4329 0.4329 0.3795 0.0756 0.1069 0.1069 0.1991 0.3757 0.3720 0.0534 0.3261 0.4329 0.3795 0.0756
441-AH 0.0153 0.0153 0.0250 0.0347 0.0347 0.0250 0.0137 0.0194 0.0194 0.5497 0.0230 0.0212 0.0097 0.0153 0.0347 0.0250 0.0137
442-AH 0.4465 0.4465 0.4710 0.4955 0.4955 0.4710 0.0346 0.0490 0.0490 0.0735 0.4704 0.4697 0.0245 0.4465 0.4955 0.4710 0.0346
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.3519 0.3519 0.3538 0.3557 0.3557 0.3538 0.0027 0.0038 0.0038 0.0076 0.3538 0.3538 0.0019 0.3519 0.3557 0.3538 0.0027
445-AH 0.0005 0.0005 0.0009 0.0013 0.0013 0.0009 0.0006 0.0008 0.0008 0.6543 0.0008 0.0007 0.0004 0.0005 0.0013 0.0009 0.0006
446-AH 0.0745 0.0745 0.0944 0.1144 0.1144 0.0944 0.0282 0.0398 0.0398 0.2984 0.0923 0.0902 0.0199 0.0745 0.1144 0.0944 0.0282
447-AH 0.5142 0.5142 0.5653 0.6164 0.6164 0.5653 0.0723 0.1022 0.1022 0.1278 0.5630 0.5607 0.0511 0.5142 0.6164 0.5653 0.0723
448-AH 0.3078 0.3078 0.3181 0.3285 0.3285 0.3181 0.0146 0.0207 0.0207 0.0459 0.3180 0.3178 0.0103 0.3078 0.3285 0.3181 0.0146
449-AH 0.0218 0.0218 0.0394 0.0571 0.0571 0.0394 0.0250 0.0353 0.0353 0.6331 0.0353 0.0315 0.0177 0.0218 0.0571 0.0394 0.0250
450-AH 0.0014 0.0014 0.0029 0.0045 0.0045 0.0029 0.0023 0.0032 0.0032 0.7649 0.0025 0.0021 0.0016 0.0014 0.0045 0.0029 0.0023
185
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0909 0.0909 0.0909 0.0909 0.0909 0.0909 0.0000 0.0000 0.0000 0.0000 0.0909 0.0909 0.0000 0.0909 0.0909 0.0909 0.0000
402-AH 0.2500 0.2500 0.2625 0.2750 0.2750 0.2625 0.0177 0.0250 0.0250 0.0673 0.2622 0.2619 0.0125 0.2500 0.2750 0.2625 0.0177
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.1591 0.1591 0.1591 0.1591 0.1591 0.1591 0.0000 0.0000 0.0000 0.0000 0.1591 0.1591 0.0000 0.1591 0.1591 0.1591 0.0000
405-AH 0.5714 0.5714 0.5714 0.5714 0.5714 0.5714 0.0000 0.0000 0.0000 0.0000 0.5714 0.5714 0.0000 0.5714 0.5714 0.5714 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0714 0.1429 0.1429 0.0714 0.1010 0.1429 0.1429 1.4142 0.0012 0.0000 0.0714 0.0000 0.1429 0.0714 0.1010
408-AH 0.1250 0.1250 0.3438 0.5625 0.5625 0.3438 0.3094 0.4375 0.4375 0.9000 0.2652 0.2045 0.2188 0.1250 0.5625 0.3438 0.3094
409-AH 0.0000 0.0000 0.0833 0.1667 0.1667 0.0833 0.1179 0.1667 0.1667 1.4142 0.0013 0.0000 0.0833 0.0000 0.1667 0.0833 0.1179
410-AH 0.6875 0.6875 0.7500 0.8125 0.8125 0.7500 0.0884 0.1250 0.1250 0.1179 0.7474 0.7448 0.0625 0.6875 0.8125 0.7500 0.0884
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0833 0.0833 0.1250 0.1667 0.1667 0.1250 0.0589 0.0833 0.0833 0.4714 0.1179 0.1111 0.0417 0.0833 0.1667 0.1250 0.0589
415-AH 0.1064 0.1064 0.1170 0.1277 0.1277 0.1170 0.0150 0.0213 0.0213 0.1286 0.1165 0.1161 0.0106 0.1064 0.1277 0.1170 0.0150
416-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.6250 0.6250 0.6250 0.6250 0.6250 0.6250 0.0000 0.0000 0.0000 0.0000 0.6250 0.6250 0.0000 0.6250 0.6250 0.6250 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0455 0.0909 0.0909 0.0455 0.0643 0.0909 0.0909 1.4142 0.0010 0.0000 0.0455 0.0000 0.0909 0.0455 0.0643
421-AH 0.1429 0.1429 0.1429 0.1429 0.1429 0.1429 0.0000 0.0000 0.0000 0.0000 0.1429 0.1429 0.0000 0.1429 0.1429 0.1429 0.0000
422-AH 0.0000 0.0000 0.0156 0.0312 0.0312 0.0156 0.0221 0.0312 0.0312 1.4142 0.0006 0.0000 0.0156 0.0000 0.0312 0.0156 0.0221
423-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
424-AH 0.0000 0.0000 0.2500 0.5000 0.5000 0.2500 0.3536 0.5000 0.5000 1.4142 0.0022 0.0000 0.2500 0.0000 0.5000 0.2500 0.3536
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0909 0.0909 0.1136 0.1364 0.1364 0.1136 0.0321 0.0455 0.0455 0.2828 0.1113 0.1091 0.0227 0.0909 0.1364 0.1136 0.0321
427-AH 0.2500 0.2500 0.3125 0.3750 0.3750 0.3125 0.0884 0.1250 0.1250 0.2828 0.3062 0.3000 0.0625 0.2500 0.3750 0.3125 0.0884
428-AH 0.1667 0.1667 0.1667 0.1667 0.1667 0.1667 0.0000 0.0000 0.0000 0.0000 0.1667 0.1667 0.0000 0.1667 0.1667 0.1667 0.0000
429-AH 0.1351 0.1351 0.1486 0.1622 0.1622 0.1486 0.0191 0.0270 0.0270 0.1286 0.1480 0.1474 0.0135 0.1351 0.1622 0.1486 0.0191
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.5909 0.5909 0.6136 0.6364 0.6364 0.6136 0.0321 0.0455 0.0455 0.0524 0.6132 0.6128 0.0227 0.5909 0.6364 0.6136 0.0321
432-AH 0.5714 0.5714 0.5714 0.5714 0.5714 0.5714 0.0000 0.0000 0.0000 0.0000 0.5714 0.5714 0.0000 0.5714 0.5714 0.5714 0.0000
433-AH 0.3684 0.3684 0.4211 0.4737 0.4737 0.4211 0.0744 0.1053 0.1053 0.1768 0.4178 0.4145 0.0526 0.3684 0.4737 0.4211 0.0744
434-AH 0.9231 0.9231 0.9231 0.9231 0.9231 0.9231 0.0000 0.0000 0.0000 0.0000 0.9231 0.9231 0.0000 0.9231 0.9231 0.9231 0.0000
435-AH 0.2000 0.2000 0.2500 0.3000 0.3000 0.2500 0.0707 0.1000 0.1000 0.2828 0.2449 0.2400 0.0500 0.2000 0.3000 0.2500 0.0707
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0625 0.1250 0.1250 0.0625 0.0884 0.1250 0.1250 1.4142 0.0011 0.0000 0.0625 0.0000 0.1250 0.0625 0.0884
438-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.3571 0.3571 0.4048 0.4524 0.4524 0.4048 0.0673 0.0952 0.0952 0.1664 0.4020 0.3992 0.0476 0.3571 0.4524 0.4048 0.0673
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.3529 0.3529 0.3824 0.4118 0.4118 0.3824 0.0416 0.0588 0.0588 0.1088 0.3812 0.3801 0.0294 0.3529 0.4118 0.3824 0.0416
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.1429 0.1429 0.1429 0.1429 0.1429 0.1429 0.0000 0.0000 0.0000 0.0000 0.1429 0.1429 0.0000 0.1429 0.1429 0.1429 0.0000
447-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
448-AH 0.3000 0.3000 0.3500 0.4000 0.4000 0.3500 0.0707 0.1000 0.1000 0.2020 0.3464 0.3429 0.0500 0.3000 0.4000 0.3500 0.0707
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0208 0.0417 0.0417 0.0208 0.0295 0.0417 0.0417 1.4142 0.0006 0.0000 0.0208 0.0000 0.0417 0.0208 0.0295
186
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0165 0.0165 0.0207 0.0248 0.0248 0.0207 0.0058 0.0083 0.0083 0.2828 0.0202 0.0198 0.0041 0.0165 0.0248 0.0207 0.0058
402-AH 0.2131 0.2131 0.2147 0.2163 0.2163 0.2147 0.0022 0.0031 0.0031 0.0103 0.2147 0.2147 0.0016 0.2131 0.2163 0.2147 0.0022
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0811 0.0811 0.0829 0.0847 0.0847 0.0829 0.0026 0.0036 0.0036 0.0308 0.0829 0.0829 0.0018 0.0811 0.0847 0.0829 0.0026
405-AH 0.4694 0.4694 0.4898 0.5102 0.5102 0.4898 0.0289 0.0408 0.0408 0.0589 0.4894 0.4889 0.0204 0.4694 0.5102 0.4898 0.0289
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0204 0.0408 0.0408 0.0204 0.0289 0.0408 0.0408 1.4142 0.0006 0.0000 0.0204 0.0000 0.0408 0.0204 0.0289
408-AH 0.1250 0.1250 0.3398 0.5547 0.5547 0.3398 0.3038 0.4297 0.4297 0.8940 0.2633 0.2040 0.2148 0.1250 0.5547 0.3398 0.3038
409-AH 0.0000 0.0000 0.0556 0.1111 0.1111 0.0556 0.0786 0.1111 0.1111 1.4142 0.0011 0.0000 0.0556 0.0000 0.1111 0.0556 0.0786
410-AH 0.8320 0.8320 0.8477 0.8633 0.8633 0.8477 0.0221 0.0312 0.0312 0.0261 0.8475 0.8474 0.0156 0.8320 0.8633 0.8477 0.0221
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.0625 0.0625 0.0799 0.0972 0.0972 0.0799 0.0246 0.0347 0.0347 0.3074 0.0780 0.0761 0.0174 0.0625 0.0972 0.0799 0.0246
415-AH 0.0856 0.0856 0.0912 0.0969 0.0969 0.0912 0.0080 0.0113 0.0113 0.0877 0.0910 0.0909 0.0057 0.0856 0.0969 0.0912 0.0080
416-AH 0.1728 0.1728 0.1852 0.1975 0.1975 0.1852 0.0175 0.0247 0.0247 0.0943 0.1848 0.1844 0.0123 0.1728 0.1975 0.1852 0.0175
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.6875 0.6875 0.7344 0.7812 0.7812 0.7344 0.0663 0.0938 0.0938 0.0903 0.7329 0.7314 0.0469 0.6875 0.7812 0.7344 0.0663
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0207 0.0413 0.0413 0.0207 0.0292 0.0413 0.0413 1.4142 0.0006 0.0000 0.0207 0.0000 0.0413 0.0207 0.0292
421-AH 0.1429 0.1429 0.1429 0.1429 0.1429 0.1429 0.0000 0.0000 0.0000 0.0000 0.1429 0.1429 0.0000 0.1429 0.1429 0.1429 0.0000
422-AH 0.0000 0.0000 0.0024 0.0049 0.0049 0.0024 0.0035 0.0049 0.0049 1.4142 0.0002 0.0000 0.0024 0.0000 0.0049 0.0024 0.0035
423-AH 0.4722 0.4722 0.4861 0.5000 0.5000 0.4861 0.0196 0.0278 0.0278 0.0404 0.4859 0.4857 0.0139 0.4722 0.5000 0.4861 0.0196
424-AH 0.0000 0.0000 0.1562 0.3125 0.3125 0.1562 0.2210 0.3125 0.3125 1.4142 0.0018 0.0000 0.1562 0.0000 0.3125 0.1562 0.2210
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0475 0.0475 0.0579 0.0682 0.0682 0.0579 0.0146 0.0207 0.0207 0.2525 0.0569 0.0560 0.0103 0.0475 0.0682 0.0579 0.0146
427-AH 0.2500 0.2500 0.2969 0.3438 0.3438 0.2969 0.0663 0.0938 0.0938 0.2233 0.2932 0.2895 0.0469 0.2500 0.3438 0.2969 0.0663
428-AH 0.1111 0.1111 0.1389 0.1667 0.1667 0.1389 0.0393 0.0556 0.0556 0.2828 0.1361 0.1333 0.0278 0.1111 0.1667 0.1389 0.0393
429-AH 0.0972 0.0972 0.0972 0.0972 0.0972 0.0972 0.0000 0.0000 0.0000 0.0000 0.0972 0.0972 0.0000 0.0972 0.0972 0.0972 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.6198 0.6198 0.6343 0.6488 0.6488 0.6343 0.0205 0.0289 0.0289 0.0322 0.6341 0.6340 0.0145 0.6198 0.6488 0.6343 0.0205
432-AH 0.6735 0.6735 0.6735 0.6735 0.6735 0.6735 0.0000 0.0000 0.0000 0.0000 0.6735 0.6735 0.0000 0.6735 0.6735 0.6735 0.0000
433-AH 0.3158 0.3158 0.3629 0.4100 0.4100 0.3629 0.0666 0.0942 0.0942 0.1835 0.3598 0.3568 0.0471 0.3158 0.4100 0.3629 0.0666
434-AH 0.9645 0.9645 0.9793 0.9941 0.9941 0.9793 0.0209 0.0296 0.0296 0.0214 0.9792 0.9791 0.0148 0.9645 0.9941 0.9793 0.0209
435-AH 0.1500 0.1500 0.1525 0.1550 0.1550 0.1525 0.0035 0.0050 0.0050 0.0232 0.1525 0.1525 0.0025 0.1500 0.1550 0.1525 0.0035
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0391 0.0781 0.0781 0.0391 0.0552 0.0781 0.0781 1.4142 0.0009 0.0000 0.0391 0.0000 0.0781 0.0391 0.0552
438-AH 0.0000 0.0000 0.0706 0.1411 0.1411 0.0706 0.0998 0.1411 0.1411 1.4142 0.0012 0.0000 0.0706 0.0000 0.1411 0.0706 0.0998
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.3107 0.3107 0.3662 0.4218 0.4218 0.3662 0.0786 0.1111 0.1111 0.2145 0.3620 0.3578 0.0556 0.3107 0.4218 0.3662 0.0786
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.3010 0.3010 0.3235 0.3460 0.3460 0.3235 0.0318 0.0450 0.0450 0.0983 0.3227 0.3220 0.0225 0.3010 0.3460 0.3235 0.0318
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0703 0.0703 0.0907 0.1111 0.1111 0.0907 0.0289 0.0408 0.0408 0.3182 0.0884 0.0861 0.0204 0.0703 0.1111 0.0907 0.0289
447-AH 0.5000 0.5000 0.5150 0.5300 0.5300 0.5150 0.0212 0.0300 0.0300 0.0412 0.5148 0.5146 0.0150 0.5000 0.5300 0.5150 0.0212
448-AH 0.2000 0.2000 0.2300 0.2600 0.2600 0.2300 0.0424 0.0600 0.0600 0.1845 0.2280 0.2261 0.0300 0.2000 0.2600 0.2300 0.0424
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0104 0.0208 0.0208 0.0104 0.0147 0.0208 0.0208 1.4142 0.0005 0.0000 0.0104 0.0000 0.0208 0.0104 0.0147
187
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1111 0.1111 0.1181 0.1250 0.1250 0.1181 0.0098 0.0139 0.0139 0.0832 0.1179 0.1176 0.0069 0.1111 0.1250 0.1181 0.0098
402-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
403-AH 0.0385 0.0385 0.0647 0.0909 0.0909 0.0647 0.0371 0.0524 0.0524 0.5733 0.0591 0.0541 0.0262 0.0385 0.0909 0.0647 0.0371
404-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
405-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
406-AH 0.0000 0.0000 0.0006 0.0011 0.0011 0.0006 0.0008 0.0011 0.0011 1.4142 0.0001 0.0000 0.0006 0.0000 0.0011 0.0006 0.0008
407-AH 0.0217 0.0217 0.0942 0.1667 0.1667 0.0942 0.1025 0.1449 0.1449 1.0879 0.0602 0.0385 0.0725 0.0217 0.1667 0.0942 0.1025
408-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
409-AH 0.1429 0.1429 0.2381 0.3333 0.3333 0.2381 0.1347 0.1905 0.1905 0.5657 0.2182 0.2000 0.0952 0.1429 0.3333 0.2381 0.1347
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0147 0.0147 0.0282 0.0417 0.0417 0.0282 0.0191 0.0270 0.0270 0.6764 0.0248 0.0217 0.0135 0.0147 0.0417 0.0282 0.0191
412-AH 0.0030 0.0030 0.0058 0.0086 0.0086 0.0058 0.0040 0.0056 0.0056 0.6883 0.0051 0.0044 0.0028 0.0030 0.0086 0.0058 0.0040
413-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
414-AH 0.2500 0.2500 0.2917 0.3333 0.3333 0.2917 0.0589 0.0833 0.0833 0.2020 0.2887 0.2857 0.0417 0.2500 0.3333 0.2917 0.0589
415-AH 0.3000 0.3000 0.3722 0.4444 0.4444 0.3722 0.1021 0.1444 0.1444 0.2744 0.3651 0.3582 0.0722 0.3000 0.4444 0.3722 0.1021
416-AH 0.3750 0.3750 0.3750 0.3750 0.3750 0.3750 0.0000 0.0000 0.0000 0.0000 0.3750 0.3750 0.0000 0.3750 0.3750 0.3750 0.0000
417-AH 0.0072 0.0072 0.0142 0.0213 0.0213 0.0142 0.0100 0.0141 0.0141 0.6995 0.0124 0.0108 0.0070 0.0072 0.0213 0.0142 0.0100
418-AH 0.7273 0.7273 0.8636 1.0000 1.0000 0.8636 0.1928 0.2727 0.2727 0.2233 0.8528 0.8421 0.1364 0.7273 1.0000 0.8636 0.1928
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0577 0.0577 0.1003 0.1429 0.1429 0.1003 0.0602 0.0852 0.0852 0.6006 0.0908 0.0822 0.0426 0.0577 0.1429 0.1003 0.0602
421-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
422-AH 0.0030 0.0030 0.0194 0.0357 0.0357 0.0194 0.0231 0.0327 0.0327 1.1918 0.0104 0.0056 0.0163 0.0030 0.0357 0.0194 0.0231
423-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
424-AH 0.2000 0.2000 0.3500 0.5000 0.5000 0.3500 0.2121 0.3000 0.3000 0.6061 0.3162 0.2857 0.1500 0.2000 0.5000 0.3500 0.2121
425-AH 0.0000 0.0000 0.0015 0.0030 0.0030 0.0015 0.0021 0.0030 0.0030 1.4142 0.0002 0.0000 0.0015 0.0000 0.0030 0.0015 0.0021
426-AH 0.1429 0.1429 0.3214 0.5000 0.5000 0.3214 0.2525 0.3571 0.3571 0.7857 0.2673 0.2222 0.1786 0.1429 0.5000 0.3214 0.2525
427-AH 0.7500 0.7500 0.8750 1.0000 1.0000 0.8750 0.1768 0.2500 0.2500 0.2020 0.8660 0.8571 0.1250 0.7500 1.0000 0.8750 0.1768
428-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
429-AH 0.2500 0.2500 0.2679 0.2857 0.2857 0.2679 0.0253 0.0357 0.0357 0.0943 0.2673 0.2667 0.0179 0.2500 0.2857 0.2679 0.0253
430-AH 0.0333 0.0333 0.0551 0.0769 0.0769 0.0551 0.0308 0.0436 0.0436 0.5591 0.0506 0.0465 0.0218 0.0333 0.0769 0.0551 0.0308
431-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.7143 0.7143 0.8571 1.0000 1.0000 0.8571 0.2020 0.2857 0.2857 0.2357 0.8452 0.8333 0.1429 0.7143 1.0000 0.8571 0.2020
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
436-AH 0.0046 0.0046 0.0076 0.0106 0.0106 0.0076 0.0042 0.0060 0.0060 0.5566 0.0070 0.0065 0.0030 0.0046 0.0106 0.0076 0.0042
437-AH 0.0455 0.0455 0.1477 0.2500 0.2500 0.1477 0.1446 0.2045 0.2045 0.9791 0.1066 0.0769 0.1023 0.0455 0.2500 0.1477 0.1446
438-AH 0.0571 0.0571 0.2786 0.5000 0.5000 0.2786 0.3131 0.4429 0.4429 1.1241 0.1690 0.1026 0.2214 0.0571 0.5000 0.2786 0.3131
439-AH 0.0056 0.0056 0.0189 0.0323 0.0323 0.0189 0.0189 0.0267 0.0267 0.9987 0.0134 0.0095 0.0134 0.0056 0.0323 0.0189 0.0189
440-AH 0.6250 0.6250 0.6458 0.6667 0.6667 0.6458 0.0295 0.0417 0.0417 0.0456 0.6455 0.6452 0.0208 0.6250 0.6667 0.6458 0.0295
441-AH 0.0500 0.0500 0.0607 0.0714 0.0714 0.0607 0.0152 0.0214 0.0214 0.2496 0.0598 0.0588 0.0107 0.0500 0.0714 0.0607 0.0152
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
445-AH 0.0025 0.0025 0.0030 0.0035 0.0035 0.0030 0.0008 0.0011 0.0011 0.2582 0.0029 0.0029 0.0005 0.0025 0.0035 0.0030 0.0008
446-AH 0.2000 0.2000 0.4333 0.6667 0.6667 0.4333 0.3300 0.4667 0.4667 0.7615 0.3651 0.3077 0.2333 0.2000 0.6667 0.4333 0.3300
447-AH 0.6250 0.6250 0.8125 1.0000 1.0000 0.8125 0.2652 0.3750 0.3750 0.3264 0.7906 0.7692 0.1875 0.6250 1.0000 0.8125 0.2652
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0833 0.0833 0.1042 0.1250 0.1250 0.1042 0.0295 0.0417 0.0417 0.2828 0.1021 0.1000 0.0208 0.0833 0.1250 0.1042 0.0295
450-AH 0.0189 0.0189 0.0479 0.0769 0.0769 0.0479 0.0411 0.0581 0.0581 0.8571 0.0381 0.0303 0.0290 0.0189 0.0769 0.0479 0.0411
188
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1111 0.1111 0.1181 0.1250 0.1250 0.1181 0.0098 0.0139 0.0139 0.0832 0.1179 0.1176 0.0069 0.1111 0.1250 0.1181 0.0098
402-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
403-AH 0.0385 0.0385 0.0647 0.0909 0.0909 0.0647 0.0371 0.0524 0.0524 0.5733 0.0591 0.0541 0.0262 0.0385 0.0909 0.0647 0.0371
404-AH 0.1707 0.1707 0.1743 0.1778 0.1778 0.1743 0.0050 0.0070 0.0070 0.0286 0.1742 0.1742 0.0035 0.1707 0.1778 0.1743 0.0050
405-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0217 0.0217 0.0942 0.1667 0.1667 0.0942 0.1025 0.1449 0.1449 1.0879 0.0602 0.0385 0.0725 0.0217 0.1667 0.0942 0.1025
408-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
409-AH 0.1429 0.1429 0.2381 0.3333 0.3333 0.2381 0.1347 0.1905 0.1905 0.5657 0.2182 0.2000 0.0952 0.1429 0.3333 0.2381 0.1347
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0147 0.0147 0.0282 0.0417 0.0417 0.0282 0.0191 0.0270 0.0270 0.6764 0.0248 0.0217 0.0135 0.0147 0.0417 0.0282 0.0191
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
414-AH 0.0652 0.0652 0.1326 0.2000 0.2000 0.1326 0.0953 0.1348 0.1348 0.7187 0.1142 0.0984 0.0674 0.0652 0.2000 0.1326 0.0953
415-AH 0.1852 0.1852 0.2062 0.2273 0.2273 0.2062 0.0298 0.0421 0.0421 0.1443 0.2052 0.2041 0.0210 0.1852 0.2273 0.2062 0.0298
416-AH 0.3750 0.3750 0.3750 0.3750 0.3750 0.3750 0.0000 0.0000 0.0000 0.0000 0.3750 0.3750 0.0000 0.3750 0.3750 0.3750 0.0000
417-AH 0.0072 0.0072 0.0142 0.0213 0.0213 0.0142 0.0100 0.0141 0.0141 0.6995 0.0124 0.0108 0.0070 0.0072 0.0213 0.0142 0.0100
418-AH 0.7273 0.7273 0.8636 1.0000 1.0000 0.8636 0.1928 0.2727 0.2727 0.2233 0.8528 0.8421 0.1364 0.7273 1.0000 0.8636 0.1928
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0556 0.0556 0.0566 0.0577 0.0577 0.0566 0.0015 0.0021 0.0021 0.0267 0.0566 0.0566 0.0011 0.0556 0.0577 0.0566 0.0015
421-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
424-AH 0.2000 0.2000 0.3500 0.5000 0.5000 0.3500 0.2121 0.3000 0.3000 0.6061 0.3162 0.2857 0.1500 0.2000 0.5000 0.3500 0.2121
425-AH 0.0000 0.0000 0.0015 0.0030 0.0030 0.0015 0.0021 0.0030 0.0030 1.4142 0.0002 0.0000 0.0015 0.0000 0.0030 0.0015 0.0021
426-AH 0.1053 0.1053 0.1208 0.1364 0.1364 0.1208 0.0220 0.0311 0.0311 0.1820 0.1198 0.1188 0.0156 0.1053 0.1364 0.1208 0.0220
427-AH 0.7500 0.7500 0.8750 1.0000 1.0000 0.8750 0.1768 0.2500 0.2500 0.2020 0.8660 0.8571 0.1250 0.7500 1.0000 0.8750 0.1768
428-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
429-AH 0.2308 0.2308 0.2404 0.2500 0.2500 0.2404 0.0136 0.0192 0.0192 0.0566 0.2402 0.2400 0.0096 0.2308 0.2500 0.2404 0.0136
430-AH 0.0333 0.0333 0.0551 0.0769 0.0769 0.0551 0.0308 0.0436 0.0436 0.5591 0.0506 0.0465 0.0218 0.0333 0.0769 0.0551 0.0308
431-AH 0.8333 0.8333 0.8542 0.8750 0.8750 0.8542 0.0295 0.0417 0.0417 0.0345 0.8539 0.8537 0.0208 0.8333 0.8750 0.8542 0.0295
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.7143 0.7143 0.8571 1.0000 1.0000 0.8571 0.2020 0.2857 0.2857 0.2357 0.8452 0.8333 0.1429 0.7143 1.0000 0.8571 0.2020
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
436-AH 0.0000 0.0000 0.0011 0.0021 0.0021 0.0011 0.0015 0.0021 0.0021 1.4142 0.0001 0.0000 0.0011 0.0000 0.0021 0.0011 0.0015
437-AH 0.0455 0.0455 0.1477 0.2500 0.2500 0.1477 0.1446 0.2045 0.2045 0.9791 0.1066 0.0769 0.1023 0.0455 0.2500 0.1477 0.1446
438-AH 0.0571 0.0571 0.1952 0.3333 0.3333 0.1952 0.1953 0.2762 0.2762 1.0003 0.1380 0.0976 0.1381 0.0571 0.3333 0.1952 0.1953
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.5000 0.5000 0.5625 0.6250 0.6250 0.5625 0.0884 0.1250 0.1250 0.1571 0.5590 0.5556 0.0625 0.5000 0.6250 0.5625 0.0884
441-AH 0.0500 0.0500 0.0607 0.0714 0.0714 0.0607 0.0152 0.0214 0.0214 0.2496 0.0598 0.0588 0.0107 0.0500 0.0714 0.0607 0.0152
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
445-AH 0.0025 0.0025 0.0030 0.0035 0.0035 0.0030 0.0008 0.0011 0.0011 0.2582 0.0029 0.0029 0.0005 0.0025 0.0035 0.0030 0.0008
446-AH 0.1786 0.1786 0.1802 0.1818 0.1818 0.1802 0.0023 0.0032 0.0032 0.0127 0.1802 0.1802 0.0016 0.1786 0.1818 0.1802 0.0023
447-AH 0.6250 0.6250 0.8125 1.0000 1.0000 0.8125 0.2652 0.3750 0.3750 0.3264 0.7906 0.7692 0.1875 0.6250 1.0000 0.8125 0.2652
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0833 0.0833 0.1042 0.1250 0.1250 0.1042 0.0295 0.0417 0.0417 0.2828 0.1021 0.1000 0.0208 0.0833 0.1250 0.1042 0.0295
450-AH 0.0033 0.0033 0.0048 0.0063 0.0063 0.0048 0.0021 0.0029 0.0029 0.4353 0.0046 0.0043 0.0015 0.0033 0.0063 0.0048 0.0021
189
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0095 0.0095 0.0180 0.0265 0.0265 0.0180 0.0120 0.0169 0.0169 0.6652 0.0159 0.0140 0.0085 0.0095 0.0265 0.0180 0.0120
402-AH 0.3846 0.3846 0.3880 0.3913 0.3913 0.3880 0.0047 0.0067 0.0067 0.0122 0.3879 0.3879 0.0033 0.3846 0.3913 0.3880 0.0047
403-AH 0.0385 0.0385 0.0647 0.0909 0.0909 0.0647 0.0371 0.0524 0.0524 0.5733 0.0591 0.0541 0.0262 0.0385 0.0909 0.0647 0.0371
404-AH 0.1466 0.1466 0.1515 0.1565 0.1565 0.1515 0.0070 0.0100 0.0100 0.0465 0.1515 0.1514 0.0050 0.1466 0.1565 0.1515 0.0070
405-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0199 0.0199 0.0209 0.0220 0.0220 0.0209 0.0015 0.0021 0.0021 0.0713 0.0209 0.0209 0.0011 0.0199 0.0220 0.0209 0.0015
408-AH 0.0435 0.0435 0.5217 1.0000 1.0000 0.5217 0.6764 0.9565 0.9565 1.2964 0.2085 0.0833 0.4783 0.0435 1.0000 0.5217 0.6764
409-AH 0.1250 0.1250 0.1339 0.1429 0.1429 0.1339 0.0126 0.0179 0.0179 0.0943 0.1336 0.1333 0.0089 0.1250 0.1429 0.1339 0.0126
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0147 0.0147 0.0282 0.0417 0.0417 0.0282 0.0191 0.0270 0.0270 0.6764 0.0248 0.0217 0.0135 0.0147 0.0417 0.0282 0.0191
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
414-AH 0.0652 0.0652 0.1278 0.1905 0.1905 0.1278 0.0886 0.1253 0.1253 0.6928 0.1115 0.0972 0.0626 0.0652 0.1905 0.1278 0.0886
415-AH 0.0120 0.0120 0.0141 0.0161 0.0161 0.0141 0.0029 0.0041 0.0041 0.2072 0.0139 0.0138 0.0021 0.0120 0.0161 0.0141 0.0029
416-AH 0.3750 0.3750 0.3750 0.3750 0.3750 0.3750 0.0000 0.0000 0.0000 0.0000 0.3750 0.3750 0.0000 0.3750 0.3750 0.3750 0.0000
417-AH 0.0000 0.0000 0.0078 0.0156 0.0156 0.0078 0.0110 0.0156 0.0156 1.4142 0.0004 0.0000 0.0078 0.0000 0.0156 0.0078 0.0110
418-AH 0.7273 0.7273 0.8636 1.0000 1.0000 0.8636 0.1928 0.2727 0.2727 0.2233 0.8528 0.8421 0.1364 0.7273 1.0000 0.8636 0.1928
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0506 0.0506 0.0542 0.0577 0.0577 0.0542 0.0050 0.0071 0.0071 0.0922 0.0540 0.0539 0.0035 0.0506 0.0577 0.0542 0.0050
421-AH 0.0833 0.0833 0.1417 0.2000 0.2000 0.1417 0.0825 0.1167 0.1167 0.5823 0.1291 0.1176 0.0583 0.0833 0.2000 0.1417 0.0825
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
424-AH 0.2000 0.2000 0.3500 0.5000 0.5000 0.3500 0.2121 0.3000 0.3000 0.6061 0.3162 0.2857 0.1500 0.2000 0.5000 0.3500 0.2121
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.1053 0.1053 0.1053 0.1053 0.1053 0.1053 0.0000 0.0000 0.0000 0.0000 0.1053 0.1053 0.0000 0.1053 0.1053 0.1053 0.0000
427-AH 0.6667 0.6667 0.7083 0.7500 0.7500 0.7083 0.0589 0.0833 0.0833 0.0832 0.7071 0.7059 0.0417 0.6667 0.7500 0.7083 0.0589
428-AH 0.0430 0.0430 0.0984 0.1538 0.1538 0.0984 0.0784 0.1108 0.1108 0.7962 0.0813 0.0672 0.0554 0.0430 0.1538 0.0984 0.0784
429-AH 0.1183 0.1183 0.1410 0.1636 0.1636 0.1410 0.0321 0.0454 0.0454 0.2275 0.1391 0.1373 0.0227 0.1183 0.1636 0.1410 0.0321
430-AH 0.0333 0.0333 0.0551 0.0769 0.0769 0.0551 0.0308 0.0436 0.0436 0.5591 0.0506 0.0465 0.0218 0.0333 0.0769 0.0551 0.0308
431-AH 0.8333 0.8333 0.8542 0.8750 0.8750 0.8542 0.0295 0.0417 0.0417 0.0345 0.8539 0.8537 0.0208 0.8333 0.8750 0.8542 0.0295
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.7143 0.7143 0.7460 0.7778 0.7778 0.7460 0.0449 0.0635 0.0635 0.0602 0.7454 0.7447 0.0317 0.7143 0.7778 0.7460 0.0449
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2759 0.2759 0.3046 0.3333 0.3333 0.3046 0.0406 0.0575 0.0575 0.1334 0.3032 0.3019 0.0287 0.2759 0.3333 0.3046 0.0406
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0098 0.0098 0.0138 0.0177 0.0177 0.0138 0.0056 0.0079 0.0079 0.4060 0.0132 0.0126 0.0039 0.0098 0.0177 0.0138 0.0056
438-AH 0.0508 0.0508 0.1417 0.2326 0.2326 0.1417 0.1285 0.1817 0.1817 0.9067 0.1087 0.0834 0.0909 0.0508 0.2326 0.1417 0.1285
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.5000 0.5000 0.5536 0.6071 0.6071 0.5536 0.0758 0.1071 0.1071 0.1369 0.5510 0.5484 0.0536 0.5000 0.6071 0.5536 0.0758
441-AH 0.0132 0.0132 0.0247 0.0362 0.0362 0.0247 0.0163 0.0230 0.0230 0.6592 0.0219 0.0193 0.0115 0.0132 0.0362 0.0247 0.0163
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.5714 0.5714 0.5982 0.6250 0.6250 0.5982 0.0379 0.0536 0.0536 0.0633 0.5976 0.5970 0.0268 0.5714 0.6250 0.5982 0.0379
445-AH 0.0025 0.0025 0.0030 0.0035 0.0035 0.0030 0.0008 0.0011 0.0011 0.2582 0.0029 0.0029 0.0005 0.0025 0.0035 0.0030 0.0008
446-AH 0.1389 0.1389 0.1587 0.1786 0.1786 0.1587 0.0281 0.0397 0.0397 0.1768 0.1575 0.1563 0.0198 0.1389 0.1786 0.1587 0.0281
447-AH 0.6250 0.6250 0.6696 0.7143 0.7143 0.6696 0.0631 0.0893 0.0893 0.0943 0.6682 0.6667 0.0446 0.6250 0.7143 0.6696 0.0631
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0448 0.0448 0.0849 0.1250 0.1250 0.0849 0.0567 0.0802 0.0802 0.6683 0.0748 0.0659 0.0401 0.0448 0.1250 0.0849 0.0567
450-AH 0.0000 0.0000 0.0031 0.0063 0.0063 0.0031 0.0044 0.0063 0.0063 1.4142 0.0003 0.0000 0.0031 0.0000 0.0063 0.0031 0.0044
190
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0095 0.0095 0.0180 0.0265 0.0265 0.0180 0.0120 0.0169 0.0169 0.6652 0.0159 0.0140 0.0085 0.0095 0.0265 0.0180 0.0120
402-AH 0.1970 0.1970 0.2348 0.2727 0.2727 0.2348 0.0536 0.0758 0.0758 0.2281 0.2318 0.2287 0.0379 0.1970 0.2727 0.2348 0.0536
403-AH 0.0083 0.0083 0.0137 0.0190 0.0190 0.0137 0.0076 0.0107 0.0107 0.5559 0.0126 0.0116 0.0054 0.0083 0.0190 0.0137 0.0076
404-AH 0.1466 0.1466 0.1515 0.1565 0.1565 0.1515 0.0070 0.0100 0.0100 0.0465 0.1515 0.1514 0.0050 0.1466 0.1565 0.1515 0.0070
405-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0184 0.0184 0.0191 0.0199 0.0199 0.0191 0.0010 0.0015 0.0015 0.0540 0.0191 0.0191 0.0007 0.0184 0.0199 0.0191 0.0010
408-AH 0.0351 0.0351 0.4550 0.8750 0.8750 0.4550 0.5939 0.8399 0.8399 1.3052 0.1752 0.0675 0.4200 0.0351 0.8750 0.4550 0.5939
409-AH 0.1250 0.1250 0.1339 0.1429 0.1429 0.1339 0.0126 0.0179 0.0179 0.0943 0.1336 0.1333 0.0089 0.1250 0.1429 0.1339 0.0126
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0147 0.0147 0.0282 0.0417 0.0417 0.0282 0.0191 0.0270 0.0270 0.6764 0.0248 0.0217 0.0135 0.0147 0.0417 0.0282 0.0191
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
414-AH 0.0435 0.0435 0.1170 0.1905 0.1905 0.1170 0.1039 0.1470 0.1470 0.8886 0.0910 0.0708 0.0735 0.0435 0.1905 0.1170 0.1039
415-AH 0.0000 0.0000 0.0081 0.0161 0.0161 0.0081 0.0114 0.0161 0.0161 1.4142 0.0004 0.0000 0.0081 0.0000 0.0161 0.0081 0.0114
416-AH 0.3750 0.3750 0.3750 0.3750 0.3750 0.3750 0.0000 0.0000 0.0000 0.0000 0.3750 0.3750 0.0000 0.3750 0.3750 0.3750 0.0000
417-AH 0.0000 0.0000 0.0072 0.0144 0.0144 0.0072 0.0102 0.0144 0.0144 1.4142 0.0004 0.0000 0.0072 0.0000 0.0144 0.0072 0.0102
418-AH 0.7273 0.7273 0.8636 1.0000 1.0000 0.8636 0.1928 0.2727 0.2727 0.2233 0.8528 0.8421 0.1364 0.7273 1.0000 0.8636 0.1928
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0471 0.0471 0.0488 0.0506 0.0506 0.0488 0.0025 0.0036 0.0036 0.0517 0.0488 0.0488 0.0018 0.0471 0.0506 0.0488 0.0025
421-AH 0.0833 0.0833 0.1354 0.1875 0.1875 0.1354 0.0737 0.1042 0.1042 0.5439 0.1250 0.1154 0.0521 0.0833 0.1875 0.1354 0.0737
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
424-AH 0.1818 0.1818 0.3409 0.5000 0.5000 0.3409 0.2250 0.3182 0.3182 0.6600 0.3015 0.2667 0.1591 0.1818 0.5000 0.3409 0.2250
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0820 0.0820 0.0831 0.0842 0.0842 0.0831 0.0016 0.0022 0.0022 0.0191 0.0831 0.0831 0.0011 0.0820 0.0842 0.0831 0.0016
427-AH 0.3000 0.3000 0.5250 0.7500 0.7500 0.5250 0.3182 0.4500 0.4500 0.6061 0.4743 0.4286 0.2250 0.3000 0.7500 0.5250 0.3182
428-AH 0.0430 0.0430 0.0984 0.1538 0.1538 0.0984 0.0784 0.1108 0.1108 0.7962 0.0813 0.0672 0.0554 0.0430 0.1538 0.0984 0.0784
429-AH 0.1121 0.1121 0.1138 0.1154 0.1154 0.1138 0.0023 0.0032 0.0032 0.0201 0.1138 0.1137 0.0016 0.1121 0.1154 0.1138 0.0023
430-AH 0.0177 0.0177 0.0383 0.0588 0.0588 0.0383 0.0291 0.0411 0.0411 0.7600 0.0323 0.0272 0.0206 0.0177 0.0588 0.0383 0.0291
431-AH 0.7273 0.7273 0.8011 0.8750 0.8750 0.8011 0.1045 0.1477 0.1477 0.1304 0.7977 0.7943 0.0739 0.7273 0.8750 0.8011 0.1045
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.4667 0.4667 0.6222 0.7778 0.7778 0.6222 0.2200 0.3111 0.3111 0.3536 0.6025 0.5833 0.1556 0.4667 0.7778 0.6222 0.2200
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2759 0.2759 0.3046 0.3333 0.3333 0.3046 0.0406 0.0575 0.0575 0.1334 0.3032 0.3019 0.0287 0.2759 0.3333 0.3046 0.0406
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0098 0.0098 0.0136 0.0175 0.0175 0.0136 0.0054 0.0077 0.0077 0.3974 0.0131 0.0126 0.0038 0.0098 0.0175 0.0136 0.0054
438-AH 0.0508 0.0508 0.1417 0.2326 0.2326 0.1417 0.1285 0.1817 0.1817 0.9067 0.1087 0.0834 0.0909 0.0508 0.2326 0.1417 0.1285
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.4643 0.4643 0.5357 0.6071 0.6071 0.5357 0.1010 0.1429 0.1429 0.1886 0.5309 0.5262 0.0714 0.4643 0.6071 0.5357 0.1010
441-AH 0.0132 0.0132 0.0247 0.0362 0.0362 0.0247 0.0163 0.0230 0.0230 0.6592 0.0219 0.0193 0.0115 0.0132 0.0362 0.0247 0.0163
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.4615 0.4615 0.5308 0.6000 0.6000 0.5308 0.0979 0.1385 0.1385 0.1845 0.5262 0.5217 0.0692 0.4615 0.6000 0.5308 0.0979
445-AH 0.0000 0.0000 0.0018 0.0035 0.0035 0.0018 0.0025 0.0035 0.0035 1.4142 0.0002 0.0000 0.0018 0.0000 0.0035 0.0018 0.0025
446-AH 0.0796 0.0796 0.0982 0.1167 0.1167 0.0982 0.0262 0.0370 0.0370 0.2667 0.0964 0.0947 0.0185 0.0796 0.1167 0.0982 0.0262
447-AH 0.6250 0.6250 0.6696 0.7143 0.7143 0.6696 0.0631 0.0893 0.0893 0.0943 0.6682 0.6667 0.0446 0.6250 0.7143 0.6696 0.0631
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0448 0.0448 0.0849 0.1250 0.1250 0.0849 0.0567 0.0802 0.0802 0.6683 0.0748 0.0659 0.0401 0.0448 0.1250 0.0849 0.0567
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
191
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0095 0.0095 0.0105 0.0115 0.0115 0.0105 0.0014 0.0020 0.0020 0.1312 0.0105 0.0104 0.0010 0.0095 0.0115 0.0105 0.0014
402-AH 0.1056 0.1056 0.1149 0.1241 0.1241 0.1149 0.0131 0.0185 0.0185 0.1142 0.1145 0.1141 0.0093 0.1056 0.1241 0.1149 0.0131
403-AH 0.0083 0.0083 0.0137 0.0190 0.0190 0.0137 0.0076 0.0107 0.0107 0.5559 0.0126 0.0116 0.0054 0.0083 0.0190 0.0137 0.0076
404-AH 0.1462 0.1462 0.1513 0.1565 0.1565 0.1513 0.0073 0.0104 0.0104 0.0484 0.1512 0.1512 0.0052 0.1462 0.1565 0.1513 0.0073
405-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0184 0.0184 0.0191 0.0199 0.0199 0.0191 0.0010 0.0015 0.0015 0.0540 0.0191 0.0191 0.0007 0.0184 0.0199 0.0191 0.0010
408-AH 0.0241 0.0241 0.4495 0.8750 0.8750 0.4495 0.6017 0.8509 0.8509 1.3384 0.1452 0.0469 0.4255 0.0241 0.8750 0.4495 0.6017
409-AH 0.0157 0.0157 0.0337 0.0517 0.0517 0.0337 0.0255 0.0360 0.0360 0.7560 0.0285 0.0241 0.0180 0.0157 0.0517 0.0337 0.0255
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0147 0.0147 0.0282 0.0417 0.0417 0.0282 0.0191 0.0270 0.0270 0.6764 0.0248 0.0217 0.0135 0.0147 0.0417 0.0282 0.0191
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
414-AH 0.0435 0.0435 0.0738 0.1042 0.1042 0.0738 0.0429 0.0607 0.0607 0.5813 0.0673 0.0613 0.0303 0.0435 0.1042 0.0738 0.0429
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3200 0.3200 0.3418 0.3636 0.3636 0.3418 0.0309 0.0436 0.0436 0.0903 0.3411 0.3404 0.0218 0.3200 0.3636 0.3418 0.0309
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0241 0.0241 0.0333 0.0426 0.0426 0.0333 0.0131 0.0185 0.0185 0.3916 0.0320 0.0308 0.0092 0.0241 0.0426 0.0333 0.0131
421-AH 0.0833 0.0833 0.1354 0.1875 0.1875 0.1354 0.0737 0.1042 0.1042 0.5439 0.1250 0.1154 0.0521 0.0833 0.1875 0.1354 0.0737
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
424-AH 0.1818 0.1818 0.3409 0.5000 0.5000 0.3409 0.2250 0.3182 0.3182 0.6600 0.3015 0.2667 0.1591 0.1818 0.5000 0.3409 0.2250
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0663 0.0663 0.0741 0.0820 0.0820 0.0741 0.0111 0.0157 0.0157 0.1498 0.0737 0.0733 0.0079 0.0663 0.0820 0.0741 0.0111
427-AH 0.2000 0.2000 0.2818 0.3636 0.3636 0.2818 0.1157 0.1636 0.1636 0.4106 0.2697 0.2581 0.0818 0.2000 0.3636 0.2818 0.1157
428-AH 0.0430 0.0430 0.0965 0.1500 0.1500 0.0965 0.0757 0.1070 0.1070 0.7839 0.0803 0.0669 0.0535 0.0430 0.1500 0.0965 0.0757
429-AH 0.0857 0.0857 0.0984 0.1111 0.1111 0.0984 0.0180 0.0254 0.0254 0.1825 0.0976 0.0968 0.0127 0.0857 0.1111 0.0984 0.0180
430-AH 0.0177 0.0177 0.0383 0.0588 0.0588 0.0383 0.0291 0.0411 0.0411 0.7600 0.0323 0.0272 0.0206 0.0177 0.0588 0.0383 0.0291
431-AH 0.7059 0.7059 0.7279 0.7500 0.7500 0.7279 0.0312 0.0441 0.0441 0.0429 0.7276 0.7273 0.0221 0.7059 0.7500 0.7279 0.0312
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.3462 0.3462 0.4099 0.4737 0.4737 0.4099 0.0902 0.1275 0.1275 0.2200 0.4049 0.4000 0.0638 0.3462 0.4737 0.4099 0.0902
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2759 0.2759 0.2891 0.3023 0.3023 0.2891 0.0187 0.0265 0.0265 0.0647 0.2888 0.2885 0.0132 0.2759 0.3023 0.2891 0.0187
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0060 0.0060 0.0117 0.0175 0.0175 0.0117 0.0081 0.0115 0.0115 0.6929 0.0102 0.0089 0.0057 0.0060 0.0175 0.0117 0.0081
438-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.3793 0.3793 0.4932 0.6071 0.6071 0.4932 0.1611 0.2278 0.2278 0.3266 0.4799 0.4669 0.1139 0.3793 0.6071 0.4932 0.1611
441-AH 0.0132 0.0132 0.0247 0.0362 0.0362 0.0247 0.0163 0.0230 0.0230 0.6592 0.0219 0.0193 0.0115 0.0132 0.0362 0.0247 0.0163
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.3500 0.3500 0.4667 0.5833 0.5833 0.4667 0.1650 0.2333 0.2333 0.3536 0.4518 0.4375 0.1167 0.3500 0.5833 0.4667 0.1650
445-AH 0.0000 0.0000 0.0018 0.0035 0.0035 0.0018 0.0025 0.0035 0.0035 1.4142 0.0002 0.0000 0.0018 0.0000 0.0035 0.0018 0.0025
446-AH 0.0796 0.0796 0.0872 0.0947 0.0947 0.0872 0.0107 0.0151 0.0151 0.1224 0.0869 0.0865 0.0075 0.0796 0.0947 0.0872 0.0107
447-AH 0.6250 0.6250 0.6696 0.7143 0.7143 0.6696 0.0631 0.0893 0.0893 0.0943 0.6682 0.6667 0.0446 0.6250 0.7143 0.6696 0.0631
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0195 0.0195 0.0610 0.1026 0.1026 0.0610 0.0587 0.0831 0.0831 0.9621 0.0447 0.0328 0.0415 0.0195 0.1026 0.0610 0.0587
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
192
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0083 0.0083 0.0098 0.0112 0.0112 0.0098 0.0020 0.0029 0.0029 0.2088 0.0097 0.0096 0.0014 0.0083 0.0112 0.0098 0.0020
402-AH 0.0971 0.0971 0.0998 0.1024 0.1024 0.0998 0.0038 0.0054 0.0054 0.0379 0.0997 0.0997 0.0027 0.0971 0.1024 0.0998 0.0038
403-AH 0.0068 0.0068 0.0128 0.0188 0.0188 0.0128 0.0084 0.0119 0.0119 0.6584 0.0113 0.0100 0.0060 0.0068 0.0188 0.0128 0.0084
404-AH 0.1358 0.1358 0.1407 0.1456 0.1456 0.1407 0.0069 0.0098 0.0098 0.0491 0.1406 0.1405 0.0049 0.1358 0.1456 0.1407 0.0069
405-AH 0.5714 0.5714 0.6857 0.8000 0.8000 0.6857 0.1616 0.2286 0.2286 0.2357 0.6761 0.6667 0.1143 0.5714 0.8000 0.6857 0.1616
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0084 0.0084 0.0096 0.0109 0.0109 0.0096 0.0018 0.0025 0.0025 0.1869 0.0096 0.0095 0.0013 0.0084 0.0109 0.0096 0.0018
408-AH 0.0241 0.0241 0.3757 0.7273 0.7273 0.3757 0.4972 0.7032 0.7032 1.3235 0.1324 0.0466 0.3516 0.0241 0.7273 0.3757 0.4972
409-AH 0.0157 0.0157 0.0337 0.0517 0.0517 0.0337 0.0255 0.0360 0.0360 0.7560 0.0285 0.0241 0.0180 0.0157 0.0517 0.0337 0.0255
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0147 0.0147 0.0282 0.0417 0.0417 0.0282 0.0191 0.0270 0.0270 0.6764 0.0248 0.0217 0.0135 0.0147 0.0417 0.0282 0.0191
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0682 0.0909 0.0909 0.0682 0.0321 0.0455 0.0455 0.4714 0.0643 0.0606 0.0227 0.0455 0.0909 0.0682 0.0321
414-AH 0.0203 0.0203 0.0252 0.0302 0.0302 0.0252 0.0070 0.0099 0.0099 0.2776 0.0247 0.0242 0.0050 0.0203 0.0302 0.0252 0.0070
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3200 0.3200 0.3386 0.3571 0.3571 0.3386 0.0263 0.0371 0.0371 0.0776 0.3381 0.3376 0.0186 0.3200 0.3571 0.3386 0.0263
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0241 0.0241 0.0333 0.0426 0.0426 0.0333 0.0131 0.0185 0.0185 0.3916 0.0320 0.0308 0.0092 0.0241 0.0426 0.0333 0.0131
421-AH 0.0460 0.0460 0.0756 0.1053 0.1053 0.0756 0.0419 0.0593 0.0593 0.5544 0.0696 0.0640 0.0296 0.0460 0.1053 0.0756 0.0419
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
424-AH 0.1818 0.1818 0.3409 0.5000 0.5000 0.3409 0.2250 0.3182 0.3182 0.6600 0.3015 0.2667 0.1591 0.1818 0.5000 0.3409 0.2250
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0663 0.0663 0.0711 0.0759 0.0759 0.0711 0.0068 0.0096 0.0096 0.0955 0.0709 0.0707 0.0048 0.0663 0.0759 0.0711 0.0068
427-AH 0.2000 0.2000 0.2818 0.3636 0.3636 0.2818 0.1157 0.1636 0.1636 0.4106 0.2697 0.2581 0.0818 0.2000 0.3636 0.2818 0.1157
428-AH 0.0430 0.0430 0.0965 0.1500 0.1500 0.0965 0.0757 0.1070 0.1070 0.7839 0.0803 0.0669 0.0535 0.0430 0.1500 0.0965 0.0757
429-AH 0.0333 0.0333 0.0469 0.0605 0.0605 0.0469 0.0193 0.0272 0.0272 0.4107 0.0449 0.0429 0.0136 0.0333 0.0605 0.0469 0.0193
430-AH 0.0177 0.0177 0.0383 0.0588 0.0588 0.0383 0.0291 0.0411 0.0411 0.7600 0.0323 0.0272 0.0206 0.0177 0.0588 0.0383 0.0291
431-AH 0.6875 0.6875 0.6967 0.7059 0.7059 0.6967 0.0130 0.0184 0.0184 0.0187 0.6966 0.6966 0.0092 0.6875 0.7059 0.6967 0.0130
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.2273 0.2273 0.3310 0.4348 0.4348 0.3310 0.1467 0.2075 0.2075 0.4433 0.3143 0.2985 0.1038 0.2273 0.4348 0.3310 0.1467
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2564 0.2564 0.2794 0.3023 0.3023 0.2794 0.0325 0.0459 0.0459 0.1162 0.2784 0.2775 0.0230 0.2564 0.3023 0.2794 0.0325
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0060 0.0060 0.0117 0.0175 0.0175 0.0117 0.0081 0.0115 0.0115 0.6929 0.0102 0.0089 0.0057 0.0060 0.0175 0.0117 0.0081
438-AH 0.0000 0.0000 0.0979 0.1959 0.1959 0.0979 0.1385 0.1959 0.1959 1.4142 0.0014 0.0000 0.0979 0.0000 0.1959 0.0979 0.1385
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.3793 0.3793 0.4237 0.4681 0.4681 0.4237 0.0628 0.0888 0.0888 0.1482 0.4214 0.4190 0.0444 0.3793 0.4681 0.4237 0.0628
441-AH 0.0132 0.0132 0.0247 0.0362 0.0362 0.0247 0.0163 0.0230 0.0230 0.6592 0.0219 0.0193 0.0115 0.0132 0.0362 0.0247 0.0163
442-AH 0.0870 0.0870 0.1798 0.2727 0.2727 0.1798 0.1314 0.1858 0.1858 0.7304 0.1540 0.1319 0.0929 0.0870 0.2727 0.1798 0.1314
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.2083 0.2083 0.2604 0.3125 0.3125 0.2604 0.0737 0.1042 0.1042 0.2828 0.2552 0.2500 0.0521 0.2083 0.3125 0.2604 0.0737
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0526 0.0526 0.0603 0.0679 0.0679 0.0603 0.0108 0.0153 0.0153 0.1792 0.0598 0.0593 0.0076 0.0526 0.0679 0.0603 0.0108
447-AH 0.6250 0.6250 0.6696 0.7143 0.7143 0.6696 0.0631 0.0893 0.0893 0.0943 0.6682 0.6667 0.0446 0.6250 0.7143 0.6696 0.0631
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0107 0.0107 0.0283 0.0459 0.0459 0.0283 0.0249 0.0352 0.0352 0.8808 0.0221 0.0173 0.0176 0.0107 0.0459 0.0283 0.0249
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
193
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0820 0.0820 0.0835 0.0851 0.0851 0.0835 0.0022 0.0031 0.0031 0.0266 0.0835 0.0835 0.0016 0.0820 0.0851 0.0835 0.0022
403-AH 0.0068 0.0068 0.0128 0.0188 0.0188 0.0128 0.0084 0.0119 0.0119 0.6584 0.0113 0.0100 0.0060 0.0068 0.0188 0.0128 0.0084
404-AH 0.1154 0.1154 0.1239 0.1324 0.1324 0.1239 0.0120 0.0170 0.0170 0.0969 0.1236 0.1233 0.0085 0.1154 0.1324 0.1239 0.0120
405-AH 0.4545 0.4545 0.5051 0.5556 0.5556 0.5051 0.0714 0.1010 0.1010 0.1414 0.5025 0.5000 0.0505 0.4545 0.5556 0.5051 0.0714
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0084 0.0084 0.0096 0.0109 0.0109 0.0096 0.0018 0.0025 0.0025 0.1869 0.0096 0.0095 0.0013 0.0084 0.0109 0.0096 0.0018
408-AH 0.0241 0.0241 0.2898 0.5556 0.5556 0.2898 0.3758 0.5315 0.5315 1.2966 0.1157 0.0462 0.2657 0.0241 0.5556 0.2898 0.3758
409-AH 0.0157 0.0157 0.0285 0.0412 0.0412 0.0285 0.0181 0.0256 0.0256 0.6348 0.0254 0.0227 0.0128 0.0157 0.0412 0.0285 0.0181
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0105 0.0105 0.0126 0.0147 0.0147 0.0126 0.0030 0.0042 0.0042 0.2343 0.0124 0.0123 0.0021 0.0105 0.0147 0.0126 0.0030
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0561 0.0667 0.0667 0.0561 0.0150 0.0212 0.0212 0.2676 0.0550 0.0541 0.0106 0.0455 0.0667 0.0561 0.0150
414-AH 0.0172 0.0172 0.0200 0.0227 0.0227 0.0200 0.0039 0.0055 0.0055 0.1941 0.0198 0.0196 0.0027 0.0172 0.0227 0.0200 0.0039
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3200 0.3200 0.3200 0.3200 0.3200 0.3200 0.0000 0.0000 0.0000 0.0000 0.3200 0.3200 0.0000 0.3200 0.3200 0.3200 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0150 0.0150 0.0369 0.0588 0.0588 0.0369 0.0310 0.0438 0.0438 0.8384 0.0297 0.0240 0.0219 0.0150 0.0588 0.0369 0.0310
420-AH 0.0128 0.0128 0.0151 0.0173 0.0173 0.0151 0.0032 0.0045 0.0045 0.2127 0.0149 0.0147 0.0023 0.0128 0.0173 0.0151 0.0032
421-AH 0.0189 0.0189 0.0222 0.0255 0.0255 0.0222 0.0047 0.0066 0.0066 0.2117 0.0219 0.0217 0.0033 0.0189 0.0255 0.0222 0.0047
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.3333 0.3333 0.4167 0.5000 0.5000 0.4167 0.1179 0.1667 0.1667 0.2828 0.4082 0.4000 0.0833 0.3333 0.5000 0.4167 0.1179
424-AH 0.1034 0.1034 0.1094 0.1154 0.1154 0.1094 0.0084 0.0119 0.0119 0.0771 0.1093 0.1091 0.0060 0.1034 0.1154 0.1094 0.0084
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0354 0.0354 0.0416 0.0478 0.0478 0.0416 0.0087 0.0123 0.0123 0.2095 0.0411 0.0407 0.0062 0.0354 0.0478 0.0416 0.0087
427-AH 0.1852 0.1852 0.2176 0.2500 0.2500 0.2176 0.0458 0.0648 0.0648 0.2106 0.2152 0.2128 0.0324 0.1852 0.2500 0.2176 0.0458
428-AH 0.0430 0.0430 0.0585 0.0741 0.0741 0.0585 0.0220 0.0311 0.0311 0.3752 0.0564 0.0544 0.0155 0.0430 0.0741 0.0585 0.0220
429-AH 0.0238 0.0238 0.0288 0.0338 0.0338 0.0288 0.0071 0.0101 0.0101 0.2471 0.0283 0.0279 0.0050 0.0238 0.0338 0.0288 0.0071
430-AH 0.0171 0.0171 0.0233 0.0294 0.0294 0.0233 0.0087 0.0123 0.0123 0.3727 0.0225 0.0217 0.0061 0.0171 0.0294 0.0233 0.0087
431-AH 0.5806 0.5806 0.6085 0.6364 0.6364 0.6085 0.0394 0.0557 0.0557 0.0647 0.6079 0.6072 0.0279 0.5806 0.6364 0.6085 0.0394
432-AH 0.6250 0.6250 0.6250 0.6250 0.6250 0.6250 0.0000 0.0000 0.0000 0.0000 0.6250 0.6250 0.0000 0.6250 0.6250 0.6250 0.0000
433-AH 0.2222 0.2222 0.2575 0.2927 0.2927 0.2575 0.0498 0.0705 0.0705 0.1935 0.2550 0.2526 0.0352 0.2222 0.2927 0.2575 0.0498
434-AH 0.9286 0.9286 0.9643 1.0000 1.0000 0.9643 0.0505 0.0714 0.0714 0.0524 0.9636 0.9630 0.0357 0.9286 1.0000 0.9643 0.0505
435-AH 0.2154 0.2154 0.2589 0.3023 0.3023 0.2589 0.0615 0.0869 0.0869 0.2375 0.2552 0.2516 0.0435 0.2154 0.3023 0.2589 0.0615
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0059 0.0059 0.0092 0.0125 0.0125 0.0092 0.0046 0.0066 0.0066 0.5026 0.0086 0.0081 0.0033 0.0059 0.0125 0.0092 0.0046
438-AH 0.0000 0.0000 0.0979 0.1959 0.1959 0.0979 0.1385 0.1959 0.1959 1.4142 0.0014 0.0000 0.0979 0.0000 0.1959 0.0979 0.1385
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.3059 0.3059 0.3717 0.4375 0.4375 0.3717 0.0931 0.1316 0.1316 0.2504 0.3658 0.3600 0.0658 0.3059 0.4375 0.3717 0.0931
441-AH 0.0132 0.0132 0.0247 0.0362 0.0362 0.0247 0.0163 0.0230 0.0230 0.6592 0.0219 0.0193 0.0115 0.0132 0.0362 0.0247 0.0163
442-AH 0.0870 0.0870 0.1798 0.2727 0.2727 0.1798 0.1314 0.1858 0.1858 0.7304 0.1540 0.1319 0.0929 0.0870 0.2727 0.1798 0.1314
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.1833 0.1833 0.2444 0.3056 0.3056 0.2444 0.0864 0.1222 0.1222 0.3536 0.2367 0.2292 0.0611 0.1833 0.3056 0.2444 0.0864
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0492 0.0492 0.0550 0.0607 0.0607 0.0550 0.0081 0.0115 0.0115 0.1479 0.0547 0.0544 0.0058 0.0492 0.0607 0.0550 0.0081
447-AH 0.5455 0.5455 0.5644 0.5833 0.5833 0.5644 0.0268 0.0379 0.0379 0.0475 0.5641 0.5638 0.0189 0.5455 0.5833 0.5644 0.0268
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0083 0.0083 0.0269 0.0455 0.0455 0.0269 0.0263 0.0371 0.0371 0.9770 0.0194 0.0141 0.0186 0.0083 0.0455 0.0269 0.0263
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
194
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0656 0.0656 0.0716 0.0776 0.0776 0.0716 0.0085 0.0120 0.0120 0.1184 0.0713 0.0711 0.0060 0.0656 0.0776 0.0716 0.0085
403-AH 0.0068 0.0068 0.0078 0.0087 0.0087 0.0078 0.0013 0.0019 0.0019 0.1692 0.0077 0.0077 0.0009 0.0068 0.0087 0.0078 0.0013
404-AH 0.1074 0.1074 0.1092 0.1111 0.1111 0.1092 0.0026 0.0037 0.0037 0.0241 0.1092 0.1092 0.0019 0.1074 0.1111 0.1092 0.0026
405-AH 0.4545 0.4545 0.5051 0.5556 0.5556 0.5051 0.0714 0.1010 0.1010 0.1414 0.5025 0.5000 0.0505 0.4545 0.5556 0.5051 0.0714
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0084 0.0084 0.0096 0.0109 0.0109 0.0096 0.0018 0.0025 0.0025 0.1869 0.0096 0.0095 0.0013 0.0084 0.0109 0.0096 0.0018
408-AH 0.0227 0.0227 0.2049 0.3871 0.3871 0.2049 0.2577 0.3644 0.3644 1.2576 0.0937 0.0429 0.1822 0.0227 0.3871 0.2049 0.2577
409-AH 0.0000 0.0000 0.0141 0.0282 0.0282 0.0141 0.0200 0.0282 0.0282 1.4142 0.0005 0.0000 0.0141 0.0000 0.0282 0.0141 0.0200
410-AH 0.7059 0.7059 0.7592 0.8125 0.8125 0.7592 0.0754 0.1066 0.1066 0.0993 0.7573 0.7554 0.0533 0.7059 0.8125 0.7592 0.0754
411-AH 0.0105 0.0105 0.0126 0.0147 0.0147 0.0126 0.0030 0.0042 0.0042 0.2343 0.0124 0.0123 0.0021 0.0105 0.0147 0.0126 0.0030
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0561 0.0667 0.0667 0.0561 0.0150 0.0212 0.0212 0.2676 0.0550 0.0541 0.0106 0.0455 0.0667 0.0561 0.0150
414-AH 0.0000 0.0000 0.0065 0.0130 0.0130 0.0065 0.0092 0.0130 0.0130 1.4142 0.0004 0.0000 0.0065 0.0000 0.0130 0.0065 0.0092
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3200 0.3200 0.3200 0.3200 0.3200 0.3200 0.0000 0.0000 0.0000 0.0000 0.3200 0.3200 0.0000 0.3200 0.3200 0.3200 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0049 0.0049 0.0080 0.0110 0.0110 0.0080 0.0043 0.0061 0.0061 0.5429 0.0074 0.0068 0.0031 0.0049 0.0110 0.0080 0.0043
420-AH 0.0000 0.0000 0.0055 0.0111 0.0111 0.0055 0.0078 0.0111 0.0111 1.4142 0.0003 0.0000 0.0055 0.0000 0.0111 0.0055 0.0078
421-AH 0.0189 0.0189 0.0222 0.0255 0.0255 0.0222 0.0047 0.0066 0.0066 0.2117 0.0219 0.0217 0.0033 0.0189 0.0255 0.0222 0.0047
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.3333 0.3333 0.3939 0.4545 0.4545 0.3939 0.0857 0.1212 0.1212 0.2176 0.3892 0.3846 0.0606 0.3333 0.4545 0.3939 0.0857
424-AH 0.1034 0.1034 0.1094 0.1154 0.1154 0.1094 0.0084 0.0119 0.0119 0.0771 0.1093 0.1091 0.0060 0.1034 0.1154 0.1094 0.0084
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0255 0.0255 0.0296 0.0337 0.0337 0.0296 0.0058 0.0082 0.0082 0.1957 0.0293 0.0290 0.0041 0.0255 0.0337 0.0296 0.0058
427-AH 0.0984 0.0984 0.1563 0.2143 0.2143 0.1563 0.0820 0.1159 0.1159 0.5244 0.1452 0.1348 0.0580 0.0984 0.2143 0.1563 0.0820
428-AH 0.0246 0.0246 0.0398 0.0549 0.0549 0.0398 0.0214 0.0303 0.0303 0.5387 0.0368 0.0340 0.0152 0.0246 0.0549 0.0398 0.0214
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0171 0.0171 0.0233 0.0294 0.0294 0.0233 0.0087 0.0123 0.0123 0.3727 0.0225 0.0217 0.0061 0.0171 0.0294 0.0233 0.0087
431-AH 0.5714 0.5714 0.5760 0.5806 0.5806 0.5760 0.0065 0.0092 0.0092 0.0113 0.5760 0.5760 0.0046 0.5714 0.5806 0.5760 0.0065
432-AH 0.6250 0.6250 0.6250 0.6250 0.6250 0.6250 0.0000 0.0000 0.0000 0.0000 0.6250 0.6250 0.0000 0.6250 0.6250 0.6250 0.0000
433-AH 0.1223 0.1223 0.1731 0.2239 0.2239 0.1731 0.0718 0.1016 0.1016 0.4150 0.1655 0.1582 0.0508 0.1223 0.2239 0.1731 0.0718
434-AH 0.9286 0.9286 0.9643 1.0000 1.0000 0.9643 0.0505 0.0714 0.0714 0.0524 0.9636 0.9630 0.0357 0.9286 1.0000 0.9643 0.0505
435-AH 0.2154 0.2154 0.2492 0.2830 0.2830 0.2492 0.0478 0.0676 0.0676 0.1919 0.2469 0.2446 0.0338 0.2154 0.2830 0.2492 0.0478
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0063 0.0125 0.0125 0.0063 0.0088 0.0125 0.0125 1.4142 0.0004 0.0000 0.0063 0.0000 0.0125 0.0063 0.0088
438-AH 0.0000 0.0000 0.0948 0.1897 0.1897 0.0948 0.1341 0.1897 0.1897 1.4142 0.0014 0.0000 0.0948 0.0000 0.1897 0.0948 0.1341
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.2583 0.2583 0.3305 0.4026 0.4026 0.3305 0.1020 0.1443 0.1443 0.3087 0.3225 0.3147 0.0721 0.2583 0.4026 0.3305 0.1020
441-AH 0.0132 0.0132 0.0247 0.0362 0.0362 0.0247 0.0163 0.0230 0.0230 0.6592 0.0219 0.0193 0.0115 0.0132 0.0362 0.0247 0.0163
442-AH 0.0870 0.0870 0.1101 0.1333 0.1333 0.1101 0.0328 0.0464 0.0464 0.2977 0.1077 0.1053 0.0232 0.0870 0.1333 0.1101 0.0328
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.1649 0.1649 0.2028 0.2407 0.2407 0.2028 0.0536 0.0758 0.0758 0.2642 0.1993 0.1958 0.0379 0.1649 0.2407 0.2028 0.0536
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0201 0.0201 0.0260 0.0318 0.0318 0.0260 0.0083 0.0117 0.0117 0.3196 0.0253 0.0247 0.0059 0.0201 0.0318 0.0260 0.0083
447-AH 0.5000 0.5000 0.5417 0.5833 0.5833 0.5417 0.0589 0.0833 0.0833 0.1088 0.5401 0.5385 0.0417 0.5000 0.5833 0.5417 0.0589
448-AH 0.3889 0.3889 0.4278 0.4667 0.4667 0.4278 0.0550 0.0778 0.0778 0.1286 0.4260 0.4242 0.0389 0.3889 0.4667 0.4278 0.0550
449-AH 0.0078 0.0078 0.0190 0.0303 0.0303 0.0190 0.0159 0.0225 0.0225 0.8360 0.0154 0.0124 0.0113 0.0078 0.0303 0.0190 0.0159
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
195
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0393 0.0393 0.0402 0.0410 0.0410 0.0402 0.0012 0.0017 0.0017 0.0296 0.0401 0.0401 0.0008 0.0393 0.0410 0.0402 0.0012
403-AH 0.0068 0.0068 0.0078 0.0087 0.0087 0.0078 0.0013 0.0019 0.0019 0.1692 0.0077 0.0077 0.0009 0.0068 0.0087 0.0078 0.0013
404-AH 0.0720 0.0720 0.0793 0.0865 0.0865 0.0793 0.0103 0.0145 0.0145 0.1297 0.0789 0.0786 0.0073 0.0720 0.0865 0.0793 0.0103
405-AH 0.2800 0.2800 0.2858 0.2917 0.2917 0.2858 0.0082 0.0117 0.0117 0.0289 0.2858 0.2857 0.0058 0.2800 0.2917 0.2858 0.0082
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0084 0.0084 0.0087 0.0091 0.0091 0.0087 0.0005 0.0007 0.0007 0.0575 0.0087 0.0087 0.0004 0.0084 0.0091 0.0087 0.0005
408-AH 0.0000 0.0000 0.0844 0.1688 0.1688 0.0844 0.1194 0.1688 0.1688 1.4142 0.0013 0.0000 0.0844 0.0000 0.1688 0.0844 0.1194
409-AH 0.0000 0.0000 0.0141 0.0282 0.0282 0.0141 0.0200 0.0282 0.0282 1.4142 0.0005 0.0000 0.0141 0.0000 0.0282 0.0141 0.0200
410-AH 0.6818 0.6818 0.7472 0.8125 0.8125 0.7472 0.0924 0.1307 0.1307 0.1237 0.7443 0.7414 0.0653 0.6818 0.8125 0.7472 0.0924
411-AH 0.0105 0.0105 0.0126 0.0147 0.0147 0.0126 0.0030 0.0042 0.0042 0.2343 0.0124 0.0123 0.0021 0.0105 0.0147 0.0126 0.0030
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0561 0.0667 0.0667 0.0561 0.0150 0.0212 0.0212 0.2676 0.0550 0.0541 0.0106 0.0455 0.0667 0.0561 0.0150
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3200 0.3200 0.3200 0.3200 0.3200 0.3200 0.0000 0.0000 0.0000 0.0000 0.3200 0.3200 0.0000 0.3200 0.3200 0.3200 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0049 0.0049 0.0080 0.0110 0.0110 0.0080 0.0043 0.0061 0.0061 0.5429 0.0074 0.0068 0.0031 0.0049 0.0110 0.0080 0.0043
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.0189 0.0189 0.0209 0.0230 0.0230 0.0209 0.0029 0.0041 0.0041 0.1392 0.0208 0.0207 0.0021 0.0189 0.0230 0.0209 0.0029
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.3333 0.3333 0.3939 0.4545 0.4545 0.3939 0.0857 0.1212 0.1212 0.2176 0.3892 0.3846 0.0606 0.3333 0.4545 0.3939 0.0857
424-AH 0.0097 0.0097 0.0099 0.0101 0.0101 0.0099 0.0003 0.0004 0.0004 0.0279 0.0099 0.0099 0.0002 0.0097 0.0101 0.0099 0.0003
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0239 0.0239 0.0286 0.0333 0.0333 0.0286 0.0066 0.0094 0.0094 0.2327 0.0282 0.0278 0.0047 0.0239 0.0333 0.0286 0.0066
427-AH 0.0933 0.0933 0.1376 0.1818 0.1818 0.1376 0.0626 0.0885 0.0885 0.4548 0.1303 0.1233 0.0442 0.0933 0.1818 0.1376 0.0626
428-AH 0.0246 0.0246 0.0398 0.0549 0.0549 0.0398 0.0214 0.0303 0.0303 0.5387 0.0368 0.0340 0.0152 0.0246 0.0549 0.0398 0.0214
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0092 0.0092 0.0135 0.0179 0.0179 0.0135 0.0061 0.0086 0.0086 0.4499 0.0128 0.0122 0.0043 0.0092 0.0179 0.0135 0.0061
431-AH 0.5455 0.5455 0.5630 0.5806 0.5806 0.5630 0.0249 0.0352 0.0352 0.0442 0.5628 0.5625 0.0176 0.5455 0.5806 0.5630 0.0249
432-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
433-AH 0.1223 0.1223 0.1454 0.1684 0.1684 0.1454 0.0326 0.0461 0.0461 0.2243 0.1435 0.1417 0.0231 0.1223 0.1684 0.1454 0.0326
434-AH 0.9286 0.9286 0.9643 1.0000 1.0000 0.9643 0.0505 0.0714 0.0714 0.0524 0.9636 0.9630 0.0357 0.9286 1.0000 0.9643 0.0505
435-AH 0.2000 0.2000 0.2379 0.2759 0.2759 0.2379 0.0536 0.0759 0.0759 0.2255 0.2349 0.2319 0.0379 0.2000 0.2759 0.2379 0.0536
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0751 0.1503 0.1503 0.0751 0.1063 0.1503 0.1503 1.4142 0.0012 0.0000 0.0751 0.0000 0.1503 0.0751 0.1063
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.1823 0.1823 0.2486 0.3148 0.3148 0.2486 0.0937 0.1325 0.1325 0.3770 0.2396 0.2309 0.0663 0.1823 0.3148 0.2486 0.0937
441-AH 0.0122 0.0122 0.0228 0.0333 0.0333 0.0228 0.0149 0.0211 0.0211 0.6555 0.0202 0.0179 0.0106 0.0122 0.0333 0.0228 0.0149
442-AH 0.0870 0.0870 0.1101 0.1333 0.1333 0.1101 0.0328 0.0464 0.0464 0.2977 0.1077 0.1053 0.0232 0.0870 0.1333 0.1101 0.0328
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.1649 0.1649 0.1991 0.2333 0.2333 0.1991 0.0484 0.0684 0.0684 0.2428 0.1962 0.1933 0.0342 0.1649 0.2333 0.1991 0.0484
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0133 0.0267 0.0267 0.0133 0.0189 0.0267 0.0267 1.4142 0.0005 0.0000 0.0133 0.0000 0.0267 0.0133 0.0189
447-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
448-AH 0.3600 0.3600 0.3618 0.3636 0.3636 0.3618 0.0026 0.0036 0.0036 0.0071 0.3618 0.3618 0.0018 0.3600 0.3636 0.3618 0.0026
449-AH 0.0000 0.0000 0.0059 0.0118 0.0118 0.0059 0.0084 0.0118 0.0118 1.4142 0.0003 0.0000 0.0059 0.0000 0.0118 0.0059 0.0084
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
196
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0032 0.0063 0.0063 0.0032 0.0045 0.0063 0.0063 1.4142 0.0003 0.0000 0.0032 0.0000 0.0063 0.0032 0.0045
404-AH 0.0000 0.0000 0.0272 0.0543 0.0543 0.0272 0.0384 0.0543 0.0543 1.4142 0.0007 0.0000 0.0272 0.0000 0.0543 0.0272 0.0384
405-AH 0.2800 0.2800 0.2858 0.2917 0.2917 0.2858 0.0082 0.0117 0.0117 0.0289 0.2858 0.2857 0.0058 0.2800 0.2917 0.2858 0.0082
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0040 0.0079 0.0079 0.0040 0.0056 0.0079 0.0079 1.4142 0.0003 0.0000 0.0040 0.0000 0.0079 0.0040 0.0056
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.6522 0.6522 0.6670 0.6818 0.6818 0.6670 0.0210 0.0296 0.0296 0.0314 0.6668 0.6667 0.0148 0.6522 0.6818 0.6670 0.0210
411-AH 0.0105 0.0105 0.0126 0.0147 0.0147 0.0126 0.0030 0.0042 0.0042 0.2343 0.0124 0.0123 0.0021 0.0105 0.0147 0.0126 0.0030
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0561 0.0667 0.0667 0.0561 0.0150 0.0212 0.0212 0.2676 0.0550 0.0541 0.0106 0.0455 0.0667 0.0561 0.0150
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3000 0.3000 0.3052 0.3103 0.3103 0.3052 0.0073 0.0103 0.0103 0.0240 0.3051 0.3051 0.0052 0.3000 0.3103 0.3052 0.0073
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0049 0.0049 0.0080 0.0110 0.0110 0.0080 0.0043 0.0061 0.0061 0.5429 0.0074 0.0068 0.0031 0.0049 0.0110 0.0080 0.0043
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2308 0.2308 0.3297 0.4286 0.4286 0.3297 0.1399 0.1978 0.1978 0.4243 0.3145 0.3000 0.0989 0.2308 0.4286 0.3297 0.1399
424-AH 0.0097 0.0097 0.0099 0.0101 0.0101 0.0099 0.0003 0.0004 0.0004 0.0279 0.0099 0.0099 0.0002 0.0097 0.0101 0.0099 0.0003
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0111 0.0223 0.0223 0.0111 0.0158 0.0223 0.0223 1.4142 0.0005 0.0000 0.0111 0.0000 0.0223 0.0111 0.0158
427-AH 0.0615 0.0615 0.1217 0.1818 0.1818 0.1217 0.0851 0.1203 0.1203 0.6990 0.1058 0.0920 0.0601 0.0615 0.1818 0.1217 0.0851
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0092 0.0092 0.0135 0.0179 0.0179 0.0135 0.0061 0.0086 0.0086 0.4499 0.0128 0.0122 0.0043 0.0092 0.0179 0.0135 0.0061
431-AH 0.4651 0.4651 0.5028 0.5405 0.5405 0.5028 0.0533 0.0754 0.0754 0.1061 0.5014 0.5000 0.0377 0.4651 0.5405 0.5028 0.0533
432-AH 0.5833 0.5833 0.5833 0.5833 0.5833 0.5833 0.0000 0.0000 0.0000 0.0000 0.5833 0.5833 0.0000 0.5833 0.5833 0.5833 0.0000
433-AH 0.1139 0.1139 0.1307 0.1475 0.1475 0.1307 0.0238 0.0336 0.0336 0.1818 0.1296 0.1286 0.0168 0.1139 0.1475 0.1307 0.0238
434-AH 0.9286 0.9286 0.9643 1.0000 1.0000 0.9643 0.0505 0.0714 0.0714 0.0524 0.9636 0.9630 0.0357 0.9286 1.0000 0.9643 0.0505
435-AH 0.1552 0.1552 0.1765 0.1978 0.1978 0.1765 0.0301 0.0426 0.0426 0.1708 0.1752 0.1739 0.0213 0.1552 0.1978 0.1765 0.0301
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0668 0.1337 0.1337 0.0668 0.0945 0.1337 0.1337 1.4142 0.0012 0.0000 0.0668 0.0000 0.1337 0.0668 0.0945
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.1319 0.1319 0.1787 0.2254 0.2254 0.1787 0.0661 0.0935 0.0935 0.3700 0.1725 0.1665 0.0467 0.1319 0.2254 0.1787 0.0661
441-AH 0.0000 0.0000 0.0078 0.0157 0.0157 0.0078 0.0111 0.0157 0.0157 1.4142 0.0004 0.0000 0.0078 0.0000 0.0157 0.0078 0.0111
442-AH 0.0714 0.0714 0.0719 0.0725 0.0725 0.0719 0.0007 0.0010 0.0010 0.0102 0.0719 0.0719 0.0005 0.0714 0.0725 0.0719 0.0007
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.1649 0.1649 0.1704 0.1758 0.1758 0.1704 0.0077 0.0109 0.0109 0.0451 0.1703 0.1702 0.0054 0.1649 0.1758 0.1704 0.0077
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
448-AH 0.3000 0.3000 0.3300 0.3600 0.3600 0.3300 0.0424 0.0600 0.0600 0.1286 0.3286 0.3273 0.0300 0.3000 0.3600 0.3300 0.0424
449-AH 0.0000 0.0000 0.0055 0.0110 0.0110 0.0055 0.0078 0.0110 0.0110 1.4142 0.0003 0.0000 0.0055 0.0000 0.0110 0.0055 0.0078
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
197
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0032 0.0063 0.0063 0.0032 0.0045 0.0063 0.0063 1.4142 0.0003 0.0000 0.0032 0.0000 0.0063 0.0032 0.0045
404-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
405-AH 0.2800 0.2800 0.2858 0.2917 0.2917 0.2858 0.0082 0.0117 0.0117 0.0289 0.2858 0.2857 0.0058 0.2800 0.2917 0.2858 0.0082
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0040 0.0079 0.0079 0.0040 0.0056 0.0079 0.0079 1.4142 0.0003 0.0000 0.0040 0.0000 0.0079 0.0040 0.0056
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
410-AH 0.4211 0.4211 0.4605 0.5000 0.5000 0.4605 0.0558 0.0789 0.0789 0.1212 0.4588 0.4571 0.0395 0.4211 0.5000 0.4605 0.0558
411-AH 0.0105 0.0105 0.0126 0.0147 0.0147 0.0126 0.0030 0.0042 0.0042 0.2343 0.0124 0.0123 0.0021 0.0105 0.0147 0.0126 0.0030
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0455 0.0455 0.0561 0.0667 0.0667 0.0561 0.0150 0.0212 0.0212 0.2676 0.0550 0.0541 0.0106 0.0455 0.0667 0.0561 0.0150
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.3000 0.3000 0.3052 0.3103 0.3103 0.3052 0.0073 0.0103 0.0103 0.0240 0.3051 0.3051 0.0052 0.3000 0.3103 0.3052 0.0073
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7273 0.7273 0.7273 0.7273 0.7273 0.7273 0.0000 0.0000 0.0000 0.0000 0.7273 0.7273 0.0000 0.7273 0.7273 0.7273 0.0000
419-AH 0.0049 0.0049 0.0080 0.0110 0.0110 0.0080 0.0043 0.0061 0.0061 0.5429 0.0074 0.0068 0.0031 0.0049 0.0110 0.0080 0.0043
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2308 0.2308 0.3297 0.4286 0.4286 0.3297 0.1399 0.1978 0.1978 0.4243 0.3145 0.3000 0.0989 0.2308 0.4286 0.3297 0.1399
424-AH 0.0097 0.0097 0.0099 0.0101 0.0101 0.0099 0.0003 0.0004 0.0004 0.0279 0.0099 0.0099 0.0002 0.0097 0.0101 0.0099 0.0003
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0615 0.0615 0.1217 0.1818 0.1818 0.1217 0.0851 0.1203 0.1203 0.6990 0.1058 0.0920 0.0601 0.0615 0.1818 0.1217 0.0851
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0092 0.0092 0.0135 0.0179 0.0179 0.0135 0.0061 0.0086 0.0086 0.4499 0.0128 0.0122 0.0043 0.0092 0.0179 0.0135 0.0061
431-AH 0.2472 0.2472 0.2611 0.2750 0.2750 0.2611 0.0197 0.0278 0.0278 0.0753 0.2607 0.2604 0.0139 0.2472 0.2750 0.2611 0.0197
432-AH 0.5833 0.5833 0.5833 0.5833 0.5833 0.5833 0.0000 0.0000 0.0000 0.0000 0.5833 0.5833 0.0000 0.5833 0.5833 0.5833 0.0000
433-AH 0.0974 0.0974 0.1100 0.1226 0.1226 0.1100 0.0178 0.0251 0.0251 0.1616 0.1093 0.1086 0.0126 0.0974 0.1226 0.1100 0.0178
434-AH 0.9286 0.9286 0.9286 0.9286 0.9286 0.9286 0.0000 0.0000 0.0000 0.0000 0.9286 0.9286 0.0000 0.9286 0.9286 0.9286 0.0000
435-AH 0.1198 0.1198 0.1270 0.1342 0.1342 0.1270 0.0102 0.0145 0.0145 0.0806 0.1268 0.1266 0.0072 0.1198 0.1342 0.1270 0.0102
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0224 0.0447 0.0447 0.0224 0.0316 0.0447 0.0447 1.4142 0.0007 0.0000 0.0224 0.0000 0.0447 0.0224 0.0316
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0347 0.0694 0.0694 0.0347 0.0491 0.0694 0.0694 1.4142 0.0008 0.0000 0.0347 0.0000 0.0694 0.0347 0.0491
441-AH 0.0000 0.0000 0.0078 0.0157 0.0157 0.0078 0.0111 0.0157 0.0157 1.4142 0.0004 0.0000 0.0078 0.0000 0.0157 0.0078 0.0111
442-AH 0.0714 0.0714 0.0719 0.0725 0.0725 0.0719 0.0007 0.0010 0.0010 0.0102 0.0719 0.0719 0.0005 0.0714 0.0725 0.0719 0.0007
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.1318 0.1318 0.1425 0.1532 0.1532 0.1425 0.0151 0.0214 0.0214 0.1061 0.1421 0.1417 0.0107 0.1318 0.1532 0.1425 0.0151
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.4167 0.4167 0.4583 0.5000 0.5000 0.4583 0.0589 0.0833 0.0833 0.1286 0.4564 0.4545 0.0417 0.4167 0.5000 0.4583 0.0589
448-AH 0.0383 0.0383 0.0573 0.0763 0.0763 0.0573 0.0269 0.0380 0.0380 0.4690 0.0541 0.0510 0.0190 0.0383 0.0763 0.0573 0.0269
449-AH 0.0000 0.0000 0.0055 0.0109 0.0109 0.0055 0.0077 0.0109 0.0109 1.4142 0.0003 0.0000 0.0055 0.0000 0.0109 0.0055 0.0077
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
198
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
405-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
408-AH 0.4000 0.4000 0.6000 0.8000 0.8000 0.6000 0.2828 0.4000 0.4000 0.4714 0.5657 0.5333 0.2000 0.4000 0.8000 0.6000 0.2828
409-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
415-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
416-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
421-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
424-AH 0.2000 0.2000 0.3000 0.4000 0.4000 0.3000 0.1414 0.2000 0.2000 0.4714 0.2828 0.2667 0.1000 0.2000 0.4000 0.3000 0.1414
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
427-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
428-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
429-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
432-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
433-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
438-AH 0.0000 0.0000 0.2000 0.4000 0.4000 0.2000 0.2828 0.4000 0.4000 1.4142 0.0020 0.0000 0.2000 0.0000 0.4000 0.2000 0.2828
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.2000 0.2000 0.3000 0.4000 0.4000 0.3000 0.1414 0.2000 0.2000 0.4714 0.2828 0.2667 0.1000 0.2000 0.4000 0.3000 0.1414
447-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
448-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
199
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
402-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
405-AH 0.4000 0.4000 0.4500 0.5000 0.5000 0.4500 0.0707 0.1000 0.1000 0.1571 0.4472 0.4444 0.0500 0.4000 0.5000 0.4500 0.0707
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
408-AH 0.2000 0.2000 0.4500 0.7000 0.7000 0.4500 0.3536 0.5000 0.5000 0.7857 0.3742 0.3111 0.2500 0.2000 0.7000 0.4500 0.3536
409-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
410-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
414-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
415-AH 0.3000 0.3000 0.3500 0.4000 0.4000 0.3500 0.0707 0.1000 0.1000 0.2020 0.3464 0.3429 0.0500 0.3000 0.4000 0.3500 0.0707
416-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.7000 0.7000 0.7000 0.7000 0.7000 0.7000 0.0000 0.0000 0.0000 0.0000 0.7000 0.7000 0.0000 0.7000 0.7000 0.7000 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
421-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.3000 0.3000 0.3500 0.4000 0.4000 0.3500 0.0707 0.1000 0.1000 0.2020 0.3464 0.3429 0.0500 0.3000 0.4000 0.3500 0.0707
424-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
427-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
428-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
429-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.7000 0.7000 0.7000 0.7000 0.7000 0.7000 0.0000 0.0000 0.0000 0.0000 0.7000 0.7000 0.0000 0.7000 0.7000 0.7000 0.0000
432-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
433-AH 0.5000 0.5000 0.6000 0.7000 0.7000 0.6000 0.1414 0.2000 0.2000 0.2357 0.5916 0.5833 0.1000 0.5000 0.7000 0.6000 0.1414
434-AH 0.9000 0.9000 0.9500 1.0000 1.0000 0.9500 0.0707 0.1000 0.1000 0.0744 0.9487 0.9474 0.0500 0.9000 1.0000 0.9500 0.0707
435-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
438-AH 0.0000 0.0000 0.1500 0.3000 0.3000 0.1500 0.2121 0.3000 0.3000 1.4142 0.0017 0.0000 0.1500 0.0000 0.3000 0.1500 0.2121
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
441-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
442-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
447-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
448-AH 0.3000 0.3000 0.3500 0.4000 0.4000 0.3500 0.0707 0.1000 0.1000 0.2020 0.3464 0.3429 0.0500 0.3000 0.4000 0.3500 0.0707
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
200
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
402-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
403-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
404-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
405-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
408-AH 0.1333 0.1333 0.3667 0.6000 0.6000 0.3667 0.3300 0.4667 0.4667 0.9000 0.2828 0.2182 0.2333 0.1333 0.6000 0.3667 0.3300
409-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
410-AH 0.7333 0.7333 0.7667 0.8000 0.8000 0.7667 0.0471 0.0667 0.0667 0.0615 0.7659 0.7652 0.0333 0.7333 0.8000 0.7667 0.0471
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
414-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
415-AH 0.2000 0.2000 0.2333 0.2667 0.2667 0.2333 0.0471 0.0667 0.0667 0.2020 0.2309 0.2286 0.0333 0.2000 0.2667 0.2333 0.0471
416-AH 0.2667 0.2667 0.3000 0.3333 0.3333 0.3000 0.0471 0.0667 0.0667 0.1571 0.2981 0.2963 0.0333 0.2667 0.3333 0.3000 0.0471
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.5333 0.5333 0.5333 0.5333 0.5333 0.5333 0.0000 0.0000 0.0000 0.0000 0.5333 0.5333 0.0000 0.5333 0.5333 0.5333 0.0000
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
421-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.3333 0.3333 0.3667 0.4000 0.4000 0.3667 0.0471 0.0667 0.0667 0.1286 0.3651 0.3636 0.0333 0.3333 0.4000 0.3667 0.0471
424-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
427-AH 0.2000 0.2000 0.2333 0.2667 0.2667 0.2333 0.0471 0.0667 0.0667 0.2020 0.2309 0.2286 0.0333 0.2000 0.2667 0.2333 0.0471
428-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
429-AH 0.1333 0.1333 0.1667 0.2000 0.2000 0.1667 0.0471 0.0667 0.0667 0.2828 0.1633 0.1600 0.0333 0.1333 0.2000 0.1667 0.0471
430-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
431-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
432-AH 0.4667 0.4667 0.4667 0.4667 0.4667 0.4667 0.0000 0.0000 0.0000 0.0000 0.4667 0.4667 0.0000 0.4667 0.4667 0.4667 0.0000
433-AH 0.4667 0.4667 0.4667 0.4667 0.4667 0.4667 0.0000 0.0000 0.0000 0.0000 0.4667 0.4667 0.0000 0.4667 0.4667 0.4667 0.0000
434-AH 0.8667 0.8667 0.8667 0.8667 0.8667 0.8667 0.0000 0.0000 0.0000 0.0000 0.8667 0.8667 0.0000 0.8667 0.8667 0.8667 0.0000
435-AH 0.2000 0.2000 0.2333 0.2667 0.2667 0.2333 0.0471 0.0667 0.0667 0.2020 0.2309 0.2286 0.0333 0.2000 0.2667 0.2333 0.0471
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
438-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.4667 0.4667 0.4667 0.4667 0.4667 0.4667 0.0000 0.0000 0.0000 0.0000 0.4667 0.4667 0.0000 0.4667 0.4667 0.4667 0.0000
441-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
442-AH 0.1333 0.1333 0.1667 0.2000 0.2000 0.1667 0.0471 0.0667 0.0667 0.2828 0.1633 0.1600 0.0333 0.1333 0.2000 0.1667 0.0471
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
447-AH 0.4667 0.4667 0.4667 0.4667 0.4667 0.4667 0.0000 0.0000 0.0000 0.0000 0.4667 0.4667 0.0000 0.4667 0.4667 0.4667 0.0000
448-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
449-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
450-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
201
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
402-AH 0.3000 0.3000 0.3250 0.3500 0.3500 0.3250 0.0354 0.0500 0.0500 0.1088 0.3240 0.3231 0.0250 0.3000 0.3500 0.3250 0.0354
403-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
404-AH 0.0500 0.0500 0.0750 0.1000 0.1000 0.0750 0.0354 0.0500 0.0500 0.4714 0.0707 0.0667 0.0250 0.0500 0.1000 0.0750 0.0354
405-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
408-AH 0.1000 0.1000 0.3000 0.5000 0.5000 0.3000 0.2828 0.4000 0.4000 0.9428 0.2236 0.1667 0.2000 0.1000 0.5000 0.3000 0.2828
409-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
410-AH 0.6500 0.6500 0.6750 0.7000 0.7000 0.6750 0.0354 0.0500 0.0500 0.0524 0.6745 0.6741 0.0250 0.6500 0.7000 0.6750 0.0354
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
414-AH 0.0500 0.0500 0.1000 0.1500 0.1500 0.1000 0.0707 0.1000 0.1000 0.7071 0.0866 0.0750 0.0500 0.0500 0.1500 0.1000 0.0707
415-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
416-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
419-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
420-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
421-AH 0.0500 0.0500 0.1000 0.1500 0.1500 0.1000 0.0707 0.1000 0.1000 0.7071 0.0866 0.0750 0.0500 0.0500 0.1500 0.1000 0.0707
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2500 0.2500 0.2750 0.3000 0.3000 0.2750 0.0354 0.0500 0.0500 0.1286 0.2739 0.2727 0.0250 0.2500 0.3000 0.2750 0.0354
424-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
427-AH 0.2000 0.2000 0.2250 0.2500 0.2500 0.2250 0.0354 0.0500 0.0500 0.1571 0.2236 0.2222 0.0250 0.2000 0.2500 0.2250 0.0354
428-AH 0.0500 0.0500 0.1000 0.1500 0.1500 0.1000 0.0707 0.1000 0.1000 0.7071 0.0866 0.0750 0.0500 0.0500 0.1500 0.1000 0.0707
429-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
430-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
431-AH 0.6500 0.6500 0.6500 0.6500 0.6500 0.6500 0.0000 0.0000 0.0000 0.0000 0.6500 0.6500 0.0000 0.6500 0.6500 0.6500 0.0000
432-AH 0.3500 0.3500 0.3500 0.3500 0.3500 0.3500 0.0000 0.0000 0.0000 0.0000 0.3500 0.3500 0.0000 0.3500 0.3500 0.3500 0.0000
433-AH 0.3500 0.3500 0.4000 0.4500 0.4500 0.4000 0.0707 0.1000 0.1000 0.1768 0.3969 0.3937 0.0500 0.3500 0.4500 0.4000 0.0707
434-AH 0.6500 0.6500 0.6500 0.6500 0.6500 0.6500 0.0000 0.0000 0.0000 0.0000 0.6500 0.6500 0.0000 0.6500 0.6500 0.6500 0.0000
435-AH 0.2000 0.2000 0.2500 0.3000 0.3000 0.2500 0.0707 0.1000 0.1000 0.2828 0.2449 0.2400 0.0500 0.2000 0.3000 0.2500 0.0707
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
438-AH 0.0000 0.0000 0.1250 0.2500 0.2500 0.1250 0.1768 0.2500 0.2500 1.4142 0.0016 0.0000 0.1250 0.0000 0.2500 0.1250 0.1768
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.4000 0.4000 0.4750 0.5500 0.5500 0.4750 0.1061 0.1500 0.1500 0.2233 0.4690 0.4632 0.0750 0.4000 0.5500 0.4750 0.1061
441-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
442-AH 0.1000 0.1000 0.1250 0.1500 0.1500 0.1250 0.0354 0.0500 0.0500 0.2828 0.1225 0.1200 0.0250 0.1000 0.1500 0.1250 0.0354
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.3500 0.3500 0.3500 0.3500 0.3500 0.3500 0.0000 0.0000 0.0000 0.0000 0.3500 0.3500 0.0000 0.3500 0.3500 0.3500 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.1500 0.1500 0.1500 0.1500 0.1500 0.1500 0.0000 0.0000 0.0000 0.0000 0.1500 0.1500 0.0000 0.1500 0.1500 0.1500 0.0000
447-AH 0.4500 0.4500 0.4750 0.5000 0.5000 0.4750 0.0354 0.0500 0.0500 0.0744 0.4743 0.4737 0.0250 0.4500 0.5000 0.4750 0.0354
448-AH 0.3500 0.3500 0.3500 0.3500 0.3500 0.3500 0.0000 0.0000 0.0000 0.0000 0.3500 0.3500 0.0000 0.3500 0.3500 0.3500 0.0000
449-AH 0.0500 0.0500 0.0750 0.1000 0.1000 0.0750 0.0354 0.0500 0.0500 0.4714 0.0707 0.0667 0.0250 0.0500 0.1000 0.0750 0.0354
450-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
202
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
402-AH 0.3000 0.3000 0.3167 0.3333 0.3333 0.3167 0.0236 0.0333 0.0333 0.0744 0.3162 0.3158 0.0167 0.3000 0.3333 0.3167 0.0236
403-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
404-AH 0.1333 0.1333 0.1500 0.1667 0.1667 0.1500 0.0236 0.0333 0.0333 0.1571 0.1491 0.1481 0.0167 0.1333 0.1667 0.1500 0.0236
405-AH 0.2333 0.2333 0.2333 0.2333 0.2333 0.2333 0.0000 0.0000 0.0000 0.0000 0.2333 0.2333 0.0000 0.2333 0.2333 0.2333 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
408-AH 0.1000 0.1000 0.2333 0.3667 0.3667 0.2333 0.1886 0.2667 0.2667 0.8081 0.1915 0.1571 0.1333 0.1000 0.3667 0.2333 0.1886
409-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
410-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
411-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0333 0.0333 0.0500 0.0667 0.0667 0.0500 0.0236 0.0333 0.0333 0.4714 0.0471 0.0444 0.0167 0.0333 0.0667 0.0500 0.0236
414-AH 0.0333 0.0333 0.0833 0.1333 0.1333 0.0833 0.0707 0.1000 0.1000 0.8485 0.0667 0.0533 0.0500 0.0333 0.1333 0.0833 0.0707
415-AH 0.1667 0.1667 0.1667 0.1667 0.1667 0.1667 0.0000 0.0000 0.0000 0.0000 0.1667 0.1667 0.0000 0.1667 0.1667 0.1667 0.0000
416-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.2667 0.2667 0.2667 0.2667 0.2667 0.2667 0.0000 0.0000 0.0000 0.0000 0.2667 0.2667 0.0000 0.2667 0.2667 0.2667 0.0000
419-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
420-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
421-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
422-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
423-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
424-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
427-AH 0.1667 0.1667 0.1833 0.2000 0.2000 0.1833 0.0236 0.0333 0.0333 0.1286 0.1826 0.1818 0.0167 0.1667 0.2000 0.1833 0.0236
428-AH 0.0333 0.0333 0.0667 0.1000 0.1000 0.0667 0.0471 0.0667 0.0667 0.7071 0.0577 0.0500 0.0333 0.0333 0.1000 0.0667 0.0471
429-AH 0.1667 0.1667 0.1833 0.2000 0.2000 0.1833 0.0236 0.0333 0.0333 0.1286 0.1826 0.1818 0.0167 0.1667 0.2000 0.1833 0.0236
430-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
431-AH 0.5667 0.5667 0.5667 0.5667 0.5667 0.5667 0.0000 0.0000 0.0000 0.0000 0.5667 0.5667 0.0000 0.5667 0.5667 0.5667 0.0000
432-AH 0.2333 0.2333 0.2333 0.2333 0.2333 0.2333 0.0000 0.0000 0.0000 0.0000 0.2333 0.2333 0.0000 0.2333 0.2333 0.2333 0.0000
433-AH 0.3000 0.3000 0.3167 0.3333 0.3333 0.3167 0.0236 0.0333 0.0333 0.0744 0.3162 0.3158 0.0167 0.3000 0.3333 0.3167 0.0236
434-AH 0.4333 0.4333 0.4333 0.4333 0.4333 0.4333 0.0000 0.0000 0.0000 0.0000 0.4333 0.4333 0.0000 0.4333 0.4333 0.4333 0.0000
435-AH 0.2333 0.2333 0.2500 0.2667 0.2667 0.2500 0.0236 0.0333 0.0333 0.0943 0.2494 0.2489 0.0167 0.2333 0.2667 0.2500 0.0236
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
438-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.4333 0.4333 0.5000 0.5667 0.5667 0.5000 0.0943 0.1333 0.1333 0.1886 0.4955 0.4911 0.0667 0.4333 0.5667 0.5000 0.0943
441-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
442-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.2667 0.2667 0.2833 0.3000 0.3000 0.2833 0.0236 0.0333 0.0333 0.0832 0.2828 0.2824 0.0167 0.2667 0.3000 0.2833 0.0236
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.1333 0.1333 0.1500 0.1667 0.1667 0.1500 0.0236 0.0333 0.0333 0.1571 0.1491 0.1481 0.0167 0.1333 0.1667 0.1500 0.0236
447-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
448-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
449-AH 0.0333 0.0333 0.0667 0.1000 0.1000 0.0667 0.0471 0.0667 0.0667 0.7071 0.0577 0.0500 0.0333 0.0333 0.1000 0.0667 0.0471
450-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
203
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
402-AH 0.1400 0.1400 0.1400 0.1400 0.1400 0.1400 0.0000 0.0000 0.0000 0.0000 0.1400 0.1400 0.0000 0.1400 0.1400 0.1400 0.0000
403-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
404-AH 0.1200 0.1200 0.1250 0.1300 0.1300 0.1250 0.0071 0.0100 0.0100 0.0566 0.1249 0.1248 0.0050 0.1200 0.1300 0.1250 0.0071
405-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
408-AH 0.0400 0.0400 0.0850 0.1300 0.1300 0.0850 0.0636 0.0900 0.0900 0.7487 0.0721 0.0612 0.0450 0.0400 0.1300 0.0850 0.0636
409-AH 0.0200 0.0200 0.0300 0.0400 0.0400 0.0300 0.0141 0.0200 0.0200 0.4714 0.0283 0.0267 0.0100 0.0200 0.0400 0.0300 0.0141
410-AH 0.1600 0.1600 0.1600 0.1600 0.1600 0.1600 0.0000 0.0000 0.0000 0.0000 0.1600 0.1600 0.0000 0.1600 0.1600 0.1600 0.0000
411-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
414-AH 0.0300 0.0300 0.0400 0.0500 0.0500 0.0400 0.0141 0.0200 0.0200 0.3536 0.0387 0.0375 0.0100 0.0300 0.0500 0.0400 0.0141
415-AH 0.0500 0.0500 0.0600 0.0700 0.0700 0.0600 0.0141 0.0200 0.0200 0.2357 0.0592 0.0583 0.0100 0.0500 0.0700 0.0600 0.0141
416-AH 0.0900 0.0900 0.0900 0.0900 0.0900 0.0900 0.0000 0.0000 0.0000 0.0000 0.0900 0.0900 0.0000 0.0900 0.0900 0.0900 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0800 0.0800 0.0800 0.0800 0.0800 0.0800 0.0000 0.0000 0.0000 0.0000 0.0800 0.0800 0.0000 0.0800 0.0800 0.0800 0.0000
419-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
420-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
421-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
422-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
423-AH 0.0600 0.0600 0.0600 0.0600 0.0600 0.0600 0.0000 0.0000 0.0000 0.0000 0.0600 0.0600 0.0000 0.0600 0.0600 0.0600 0.0000
424-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0700 0.0700 0.0750 0.0800 0.0800 0.0750 0.0071 0.0100 0.0100 0.0943 0.0748 0.0747 0.0050 0.0700 0.0800 0.0750 0.0071
427-AH 0.0700 0.0700 0.0750 0.0800 0.0800 0.0750 0.0071 0.0100 0.0100 0.0943 0.0748 0.0747 0.0050 0.0700 0.0800 0.0750 0.0071
428-AH 0.0400 0.0400 0.0450 0.0500 0.0500 0.0450 0.0071 0.0100 0.0100 0.1571 0.0447 0.0444 0.0050 0.0400 0.0500 0.0450 0.0071
429-AH 0.1000 0.1000 0.1050 0.1100 0.1100 0.1050 0.0071 0.0100 0.0100 0.0673 0.1049 0.1048 0.0050 0.1000 0.1100 0.1050 0.0071
430-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
431-AH 0.2200 0.2200 0.2200 0.2200 0.2200 0.2200 0.0000 0.0000 0.0000 0.0000 0.2200 0.2200 0.0000 0.2200 0.2200 0.2200 0.0000
432-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000
433-AH 0.1300 0.1300 0.1450 0.1600 0.1600 0.1450 0.0212 0.0300 0.0300 0.1463 0.1442 0.1434 0.0150 0.1300 0.1600 0.1450 0.0212
434-AH 0.1300 0.1300 0.1300 0.1300 0.1300 0.1300 0.0000 0.0000 0.0000 0.0000 0.1300 0.1300 0.0000 0.1300 0.1300 0.1300 0.0000
435-AH 0.1700 0.1700 0.1750 0.1800 0.1800 0.1750 0.0071 0.0100 0.0100 0.0404 0.1749 0.1749 0.0050 0.1700 0.1800 0.1750 0.0071
436-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
437-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
438-AH 0.0500 0.0500 0.1200 0.1900 0.1900 0.1200 0.0990 0.1400 0.1400 0.8250 0.0975 0.0792 0.0700 0.0500 0.1900 0.1200 0.0990
439-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
440-AH 0.2700 0.2700 0.2950 0.3200 0.3200 0.2950 0.0354 0.0500 0.0500 0.1198 0.2939 0.2929 0.0250 0.2700 0.3200 0.2950 0.0354
441-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
442-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.1600 0.1600 0.1600 0.1600 0.1600 0.1600 0.0000 0.0000 0.0000 0.0000 0.1600 0.1600 0.0000 0.1600 0.1600 0.1600 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0600 0.0600 0.0750 0.0900 0.0900 0.0750 0.0212 0.0300 0.0300 0.2828 0.0735 0.0720 0.0150 0.0600 0.0900 0.0750 0.0212
447-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
448-AH 0.0900 0.0900 0.0900 0.0900 0.0900 0.0900 0.0000 0.0000 0.0000 0.0000 0.0900 0.0900 0.0000 0.0900 0.0900 0.0900 0.0000
449-AH 0.0300 0.0300 0.0350 0.0400 0.0400 0.0350 0.0071 0.0100 0.0100 0.2020 0.0346 0.0343 0.0050 0.0300 0.0400 0.0350 0.0071
450-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
204
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0100 0.0100 0.0150 0.0200 0.0200 0.0150 0.0071 0.0100 0.0100 0.4714 0.0141 0.0133 0.0050 0.0100 0.0200 0.0150 0.0071
402-AH 0.0950 0.0950 0.0950 0.0950 0.0950 0.0950 0.0000 0.0000 0.0000 0.0000 0.0950 0.0950 0.0000 0.0950 0.0950 0.0950 0.0000
403-AH 0.0050 0.0050 0.0100 0.0150 0.0150 0.0100 0.0071 0.0100 0.0100 0.7071 0.0087 0.0075 0.0050 0.0050 0.0150 0.0100 0.0071
404-AH 0.1250 0.1250 0.1275 0.1300 0.1300 0.1275 0.0035 0.0050 0.0050 0.0277 0.1275 0.1275 0.0025 0.1250 0.1300 0.1275 0.0035
405-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
408-AH 0.0300 0.0300 0.0500 0.0700 0.0700 0.0500 0.0283 0.0400 0.0400 0.5657 0.0458 0.0420 0.0200 0.0300 0.0700 0.0500 0.0283
409-AH 0.0100 0.0100 0.0175 0.0250 0.0250 0.0175 0.0106 0.0150 0.0150 0.6061 0.0158 0.0143 0.0075 0.0100 0.0250 0.0175 0.0106
410-AH 0.0800 0.0800 0.0800 0.0800 0.0800 0.0800 0.0000 0.0000 0.0000 0.0000 0.0800 0.0800 0.0000 0.0800 0.0800 0.0800 0.0000
411-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
412-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0035 0.0050 0.0050 1.4142 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0035
413-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
414-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
415-AH 0.0250 0.0250 0.0300 0.0350 0.0350 0.0300 0.0071 0.0100 0.0100 0.2357 0.0296 0.0292 0.0050 0.0250 0.0350 0.0300 0.0071
416-AH 0.0450 0.0450 0.0450 0.0450 0.0450 0.0450 0.0000 0.0000 0.0000 0.0000 0.0450 0.0450 0.0000 0.0450 0.0450 0.0450 0.0000
417-AH 0.0000 0.0000 0.0100 0.0200 0.0200 0.0100 0.0141 0.0200 0.0200 1.4142 0.0004 0.0000 0.0100 0.0000 0.0200 0.0100 0.0141
418-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
419-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
420-AH 0.0200 0.0200 0.0250 0.0300 0.0300 0.0250 0.0071 0.0100 0.0100 0.2828 0.0245 0.0240 0.0050 0.0200 0.0300 0.0250 0.0071
421-AH 0.0200 0.0200 0.0225 0.0250 0.0250 0.0225 0.0035 0.0050 0.0050 0.1571 0.0224 0.0222 0.0025 0.0200 0.0250 0.0225 0.0035
422-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0035 0.0050 0.0050 1.4142 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0035
423-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
424-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0550 0.0550 0.0575 0.0600 0.0600 0.0575 0.0035 0.0050 0.0050 0.0615 0.0574 0.0574 0.0025 0.0550 0.0600 0.0575 0.0035
427-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
428-AH 0.0200 0.0200 0.0225 0.0250 0.0250 0.0225 0.0035 0.0050 0.0050 0.1571 0.0224 0.0222 0.0025 0.0200 0.0250 0.0225 0.0035
429-AH 0.0800 0.0800 0.0850 0.0900 0.0900 0.0850 0.0071 0.0100 0.0100 0.0832 0.0849 0.0847 0.0050 0.0800 0.0900 0.0850 0.0071
430-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
431-AH 0.1100 0.1100 0.1100 0.1100 0.1100 0.1100 0.0000 0.0000 0.0000 0.0000 0.1100 0.1100 0.0000 0.1100 0.1100 0.1100 0.0000
432-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
433-AH 0.0950 0.0950 0.0950 0.0950 0.0950 0.0950 0.0000 0.0000 0.0000 0.0000 0.0950 0.0950 0.0000 0.0950 0.0950 0.0950 0.0000
434-AH 0.0650 0.0650 0.0650 0.0650 0.0650 0.0650 0.0000 0.0000 0.0000 0.0000 0.0650 0.0650 0.0000 0.0650 0.0650 0.0650 0.0000
435-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
436-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0035 0.0050 0.0050 1.4142 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0035
437-AH 0.0050 0.0050 0.0100 0.0150 0.0150 0.0100 0.0071 0.0100 0.0100 0.7071 0.0087 0.0075 0.0050 0.0050 0.0150 0.0100 0.0071
438-AH 0.0450 0.0450 0.0875 0.1300 0.1300 0.0875 0.0601 0.0850 0.0850 0.6869 0.0765 0.0669 0.0425 0.0450 0.1300 0.0875 0.0601
439-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
440-AH 0.1750 0.1750 0.1875 0.2000 0.2000 0.1875 0.0177 0.0250 0.0250 0.0943 0.1871 0.1867 0.0125 0.1750 0.2000 0.1875 0.0177
441-AH 0.0050 0.0050 0.0175 0.0300 0.0300 0.0175 0.0177 0.0250 0.0250 1.0102 0.0122 0.0086 0.0125 0.0050 0.0300 0.0175 0.0177
442-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.0850 0.0850 0.0850 0.0850 0.0850 0.0850 0.0000 0.0000 0.0000 0.0000 0.0850 0.0850 0.0000 0.0850 0.0850 0.0850 0.0000
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0500 0.0500 0.0550 0.0600 0.0600 0.0550 0.0071 0.0100 0.0100 0.1286 0.0548 0.0545 0.0050 0.0500 0.0600 0.0550 0.0071
447-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
448-AH 0.0450 0.0450 0.0475 0.0500 0.0500 0.0475 0.0035 0.0050 0.0050 0.0744 0.0474 0.0474 0.0025 0.0450 0.0500 0.0475 0.0035
449-AH 0.0150 0.0150 0.0225 0.0300 0.0300 0.0225 0.0106 0.0150 0.0150 0.4714 0.0212 0.0200 0.0075 0.0150 0.0300 0.0225 0.0106
450-AH 0.0050 0.0050 0.0075 0.0100 0.0100 0.0075 0.0035 0.0050 0.0050 0.4714 0.0071 0.0067 0.0025 0.0050 0.0100 0.0075 0.0035
205
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0080 0.0080 0.0090 0.0100 0.0100 0.0090 0.0014 0.0020 0.0020 0.1571 0.0089 0.0089 0.0010 0.0080 0.0100 0.0090 0.0014
402-AH 0.0560 0.0560 0.0580 0.0600 0.0600 0.0580 0.0028 0.0040 0.0040 0.0488 0.0580 0.0579 0.0020 0.0560 0.0600 0.0580 0.0028
403-AH 0.0060 0.0060 0.0070 0.0080 0.0080 0.0070 0.0014 0.0020 0.0020 0.2020 0.0069 0.0069 0.0010 0.0060 0.0080 0.0070 0.0014
404-AH 0.0720 0.0720 0.0720 0.0720 0.0720 0.0720 0.0000 0.0000 0.0000 0.0000 0.0720 0.0720 0.0000 0.0720 0.0720 0.0720 0.0000
405-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0060 0.0060 0.0080 0.0100 0.0100 0.0080 0.0028 0.0040 0.0040 0.3536 0.0077 0.0075 0.0020 0.0060 0.0100 0.0080 0.0028
408-AH 0.0220 0.0220 0.0250 0.0280 0.0280 0.0250 0.0042 0.0060 0.0060 0.1697 0.0248 0.0246 0.0030 0.0220 0.0280 0.0250 0.0042
409-AH 0.0080 0.0080 0.0090 0.0100 0.0100 0.0090 0.0014 0.0020 0.0020 0.1571 0.0089 0.0089 0.0010 0.0080 0.0100 0.0090 0.0014
410-AH 0.0320 0.0320 0.0320 0.0320 0.0320 0.0320 0.0000 0.0000 0.0000 0.0000 0.0320 0.0320 0.0000 0.0320 0.0320 0.0320 0.0000
411-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
412-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
413-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
414-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
415-AH 0.0140 0.0140 0.0150 0.0160 0.0160 0.0150 0.0014 0.0020 0.0020 0.0943 0.0150 0.0149 0.0010 0.0140 0.0160 0.0150 0.0014
416-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000
417-AH 0.0040 0.0040 0.0080 0.0120 0.0120 0.0080 0.0057 0.0080 0.0080 0.7071 0.0069 0.0060 0.0040 0.0040 0.0120 0.0080 0.0057
418-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
419-AH 0.0040 0.0040 0.0050 0.0060 0.0060 0.0050 0.0014 0.0020 0.0020 0.2828 0.0049 0.0048 0.0010 0.0040 0.0060 0.0050 0.0014
420-AH 0.0120 0.0120 0.0130 0.0140 0.0140 0.0130 0.0014 0.0020 0.0020 0.1088 0.0130 0.0129 0.0010 0.0120 0.0140 0.0130 0.0014
421-AH 0.0120 0.0120 0.0120 0.0120 0.0120 0.0120 0.0000 0.0000 0.0000 0.0000 0.0120 0.0120 0.0000 0.0120 0.0120 0.0120 0.0000
422-AH 0.0020 0.0020 0.0030 0.0040 0.0040 0.0030 0.0014 0.0020 0.0020 0.4714 0.0028 0.0027 0.0010 0.0020 0.0040 0.0030 0.0014
423-AH 0.0120 0.0120 0.0120 0.0120 0.0120 0.0120 0.0000 0.0000 0.0000 0.0000 0.0120 0.0120 0.0000 0.0120 0.0120 0.0120 0.0000
424-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
425-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0014 0.0020 0.0020 1.4142 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0014
426-AH 0.0300 0.0300 0.0310 0.0320 0.0320 0.0310 0.0014 0.0020 0.0020 0.0456 0.0310 0.0310 0.0010 0.0300 0.0320 0.0310 0.0014
427-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
428-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
429-AH 0.0340 0.0340 0.0360 0.0380 0.0380 0.0360 0.0028 0.0040 0.0040 0.0786 0.0359 0.0359 0.0020 0.0340 0.0380 0.0360 0.0028
430-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
431-AH 0.0440 0.0440 0.0440 0.0440 0.0440 0.0440 0.0000 0.0000 0.0000 0.0000 0.0440 0.0440 0.0000 0.0440 0.0440 0.0440 0.0000
432-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
433-AH 0.0380 0.0380 0.0380 0.0380 0.0380 0.0380 0.0000 0.0000 0.0000 0.0000 0.0380 0.0380 0.0000 0.0380 0.0380 0.0380 0.0000
434-AH 0.0260 0.0260 0.0260 0.0260 0.0260 0.0260 0.0000 0.0000 0.0000 0.0000 0.0260 0.0260 0.0000 0.0260 0.0260 0.0260 0.0000
435-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
436-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
437-AH 0.0060 0.0060 0.0090 0.0120 0.0120 0.0090 0.0042 0.0060 0.0060 0.4714 0.0085 0.0080 0.0030 0.0060 0.0120 0.0090 0.0042
438-AH 0.0180 0.0180 0.0380 0.0580 0.0580 0.0380 0.0283 0.0400 0.0400 0.7443 0.0323 0.0275 0.0200 0.0180 0.0580 0.0380 0.0283
439-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
440-AH 0.0800 0.0800 0.0810 0.0820 0.0820 0.0810 0.0014 0.0020 0.0020 0.0175 0.0810 0.0810 0.0010 0.0800 0.0820 0.0810 0.0014
441-AH 0.0120 0.0120 0.0130 0.0140 0.0140 0.0130 0.0014 0.0020 0.0020 0.1088 0.0130 0.0129 0.0010 0.0120 0.0140 0.0130 0.0014
442-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.0340 0.0340 0.0340 0.0340 0.0340 0.0340 0.0000 0.0000 0.0000 0.0000 0.0340 0.0340 0.0000 0.0340 0.0340 0.0340 0.0000
445-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
446-AH 0.0280 0.0280 0.0290 0.0300 0.0300 0.0290 0.0014 0.0020 0.0020 0.0488 0.0290 0.0290 0.0010 0.0280 0.0300 0.0290 0.0014
447-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
448-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
449-AH 0.0100 0.0100 0.0120 0.0140 0.0140 0.0120 0.0028 0.0040 0.0040 0.2357 0.0118 0.0117 0.0020 0.0100 0.0140 0.0120 0.0028
450-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
206
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2CS-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
402-AH 0.0330 0.0330 0.0335 0.0340 0.0340 0.0335 0.0007 0.0010 0.0010 0.0211 0.0335 0.0335 0.0005 0.0330 0.0340 0.0335 0.0007
403-AH 0.0040 0.0040 0.0045 0.0050 0.0050 0.0045 0.0007 0.0010 0.0010 0.1571 0.0045 0.0044 0.0005 0.0040 0.0050 0.0045 0.0007
404-AH 0.0390 0.0390 0.0405 0.0420 0.0420 0.0405 0.0021 0.0030 0.0030 0.0524 0.0405 0.0404 0.0015 0.0390 0.0420 0.0405 0.0021
405-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000
406-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0007 0.0010 0.0010 1.4142 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0007
407-AH 0.0060 0.0060 0.0065 0.0070 0.0070 0.0065 0.0007 0.0010 0.0010 0.1088 0.0065 0.0065 0.0005 0.0060 0.0070 0.0065 0.0007
408-AH 0.0120 0.0120 0.0130 0.0140 0.0140 0.0130 0.0014 0.0020 0.0020 0.1088 0.0130 0.0129 0.0010 0.0120 0.0140 0.0130 0.0014
409-AH 0.0040 0.0040 0.0045 0.0050 0.0050 0.0045 0.0007 0.0010 0.0010 0.1571 0.0045 0.0044 0.0005 0.0040 0.0050 0.0045 0.0007
410-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
411-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
412-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
413-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
414-AH 0.0080 0.0080 0.0085 0.0090 0.0090 0.0085 0.0007 0.0010 0.0010 0.0832 0.0085 0.0085 0.0005 0.0080 0.0090 0.0085 0.0007
415-AH 0.0100 0.0100 0.0125 0.0150 0.0150 0.0125 0.0035 0.0050 0.0050 0.2828 0.0122 0.0120 0.0025 0.0100 0.0150 0.0125 0.0035
416-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
417-AH 0.0060 0.0060 0.0095 0.0130 0.0130 0.0095 0.0049 0.0070 0.0070 0.5210 0.0088 0.0082 0.0035 0.0060 0.0130 0.0095 0.0049
418-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
419-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
420-AH 0.0070 0.0070 0.0075 0.0080 0.0080 0.0075 0.0007 0.0010 0.0010 0.0943 0.0075 0.0075 0.0005 0.0070 0.0080 0.0075 0.0007
421-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
422-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
423-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
424-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
425-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0007 0.0010 0.0010 1.4142 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0007
426-AH 0.0180 0.0180 0.0190 0.0200 0.0200 0.0190 0.0014 0.0020 0.0020 0.0744 0.0190 0.0189 0.0010 0.0180 0.0200 0.0190 0.0014
427-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
428-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
429-AH 0.0230 0.0230 0.0240 0.0250 0.0250 0.0240 0.0014 0.0020 0.0020 0.0589 0.0240 0.0240 0.0010 0.0230 0.0250 0.0240 0.0014
430-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
431-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
432-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000
433-AH 0.0190 0.0190 0.0190 0.0190 0.0190 0.0190 0.0000 0.0000 0.0000 0.0000 0.0190 0.0190 0.0000 0.0190 0.0190 0.0190 0.0000
434-AH 0.0130 0.0130 0.0130 0.0130 0.0130 0.0130 0.0000 0.0000 0.0000 0.0000 0.0130 0.0130 0.0000 0.0130 0.0130 0.0130 0.0000
435-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
436-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
437-AH 0.0050 0.0050 0.0055 0.0060 0.0060 0.0055 0.0007 0.0010 0.0010 0.1286 0.0055 0.0055 0.0005 0.0050 0.0060 0.0055 0.0007
438-AH 0.0110 0.0110 0.0205 0.0300 0.0300 0.0205 0.0134 0.0190 0.0190 0.6554 0.0182 0.0161 0.0095 0.0110 0.0300 0.0205 0.0134
439-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
440-AH 0.0410 0.0410 0.0415 0.0420 0.0420 0.0415 0.0007 0.0010 0.0010 0.0170 0.0415 0.0415 0.0005 0.0410 0.0420 0.0415 0.0007
441-AH 0.0060 0.0060 0.0065 0.0070 0.0070 0.0065 0.0007 0.0010 0.0010 0.1088 0.0065 0.0065 0.0005 0.0060 0.0070 0.0065 0.0007
442-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.0170 0.0170 0.0170 0.0170 0.0170 0.0170 0.0000 0.0000 0.0000 0.0000 0.0170 0.0170 0.0000 0.0170 0.0170 0.0170 0.0000
445-AH 0.0010 0.0010 0.0015 0.0020 0.0020 0.0015 0.0007 0.0010 0.0010 0.4714 0.0014 0.0013 0.0005 0.0010 0.0020 0.0015 0.0007
446-AH 0.0160 0.0160 0.0165 0.0170 0.0170 0.0165 0.0007 0.0010 0.0010 0.0429 0.0165 0.0165 0.0005 0.0160 0.0170 0.0165 0.0007
447-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
448-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
449-AH 0.0070 0.0070 0.0085 0.0100 0.0100 0.0085 0.0021 0.0030 0.0030 0.2496 0.0084 0.0082 0.0015 0.0070 0.0100 0.0085 0.0021
450-AH 0.0030 0.0030 0.0045 0.0060 0.0060 0.0045 0.0021 0.0030 0.0030 0.4714 0.0042 0.0040 0.0015 0.0030 0.0060 0.0045 0.0021
207
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Ad−Hoc Bilingual English Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
depok [Experiment UIQTDTOGGLEFB10D10T; MAP 38.78%; Not Pooled]
nottingham [Experiment GRAWOTD; MAP 34.56%; Not Pooled]
90% jhu−apl [Experiment APLBIIDENTDS; MAP 33.24%; Not Pooled]
hyderabad [Experiment OMTD07; MAP 29.91%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; MAP 29.52%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
depok [Experiment UIQTDTOGGLEFB10D10T; MAP 38.78%; Not Pooled]
nottingham [Experiment GRAWOTD; MAP 34.56%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDS; MAP 33.24%; Not Pooled]
0.8
hyderabad [Experiment OMTD07; MAP 29.91%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; MAP 29.52%; Not Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
Ad−Hoc Bilingual English Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
depok [Experiment UIQTDTOGGLEFB10D10T; MAP 38.78%; Not Pooled]
nottingham [Experiment GRAWOTD; MAP 34.56%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDS; MAP 33.24%; Not Pooled]
0.8
hyderabad [Experiment OMTD07; MAP 29.91%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; MAP 29.52%; Not Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
208
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Ad−Hoc Bilingual English Task − Box Plot of the Topics
depok [Experiment UIQTDTOGGLEFB10D10T; MAP 38.78%; Not Pooled]
depok [Experiment UIQTTOGGLEFB10D10T; MAP 37.72%; Pooled]
depok [Experiment UIQTDDESYNFB10D10T; MAP 34.60%; Not Pooled]
nottingham [Experiment GRAWOTD; MAP 34.56%; Not Pooled]
depok [Experiment UIQTDINTERSECTIONUNIONSYNFB5D10T; MAP 34.37%; Not Pooled]
depok [Experiment UIQTDDESYNFB5D10T; MAP 34.32%; Not Pooled]
nottingham [Experiment GRAUWOT; MAP 34.20%; Not Pooled]
depok [Experiment UIQTDTOGGLE; MAP 34.18%; Not Pooled]
depok [Experiment UIQTDDESYNFB10D5T; MAP 33.42%; Not Pooled]
nottingham [Experiment GRAWOT; MAP 33.37%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDS; MAP 33.24%; Not Pooled]
jhu−apl [Experiment APLBIIDENTD4; MAP 33.16%; Pooled]
jhu−apl [Experiment APLBIIDENTD5; MAP 33.09%; Not Pooled]
depok [Experiment UIQTDINTERSECTIONUNIONSYNFB10D10T; MAP 32.97%; Not Pooled]
nottingham [Experiment GRAUWOTD; MAP 32.79%; Not Pooled]
depok [Experiment UIQTTOGGLE; MAP 32.37%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDW; MAP 30.85%; Not Pooled]
hyderabad [Experiment OMTD07; MAP 29.91%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; MAP 29.52%; Not Pooled]
hyderabad [Experiment OMTDN07; MAP 28.94%; Not Pooled]
depok [Experiment UIQTDINTERSECTIONUNIONSYN; MAP 28.31%; Not Pooled]
nottingham [Experiment COOTD; MAP 27.48%; Not Pooled]
nottingham [Experiment GRAWTD; MAP 27.48%; Not Pooled]
nottingham [Experiment GRAUWT; MAP 27.11%; Not Pooled]
nottingham [Experiment ALLTRANSTD; MAP 26.71%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_PMI; MAP 26.45%; Not Pooled]
nottingham [Experiment COOT; MAP 26.45%; Not Pooled]
nottingham [Experiment GRAWT; MAP 26.45%; Pooled]
nottingham [Experiment GRAUWTD; MAP 26.06%; Not Pooled]
nottingham [Experiment ALLTRANST; MAP 25.67%; Not Pooled]
hyderabad [Experiment OMT07; MAP 24.20%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLE_DICE; MAP 23.66%; Not Pooled]
msindia [Experiment 2007_RBLM_ALL_CROSS_1000_POSSCORES; MAP 21.81%; Not Pooled]
bombay−ltrc [Experiment IITB_MAR_TITLE_DICE; MAP 21.63%; Not Pooled]
msindia [Experiment 2007_LM_ALL_CROSS_1000_POSSCORES; MAP 21.57%; Pooled]
Experiments
msindia [Experiment RBLM_ALL_CROSS_TD_1000_POSSCORES; MAP 21.55%; Not Pooled]
hyderabad [Experiment TETD; MAP 21.55%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLE_PMI; MAP 20.89%; Not Pooled]
hyderabad [Experiment NOST_OMTDN07; MAP 20.38%; Not Pooled]
msindia [Experiment LM_ALL_CROSS_TD_1000_POSSCORES; MAP 19.94%; Not Pooled]
bombay−ltrc [Experiment IITB_MAR_TITLE_PMI; MAP 19.35%; Pooled]
budapest−acad [Experiment BILING_WIKI6; MAP 16.45%; Not Pooled]
budapest−acad [Experiment BILING_WIKI2; MAP 16.15%; Not Pooled]
budapest−acad [Experiment BILING_WIKI4; MAP 16.09%; Not Pooled]
budapest−acad [Experiment BILING_WIKI1; MAP 15.89%; Pooled]
budapest−acad [Experiment BILING_WIKI3; MAP 15.84%; Not Pooled]
budapest−acad [Experiment BILING_WIKI5; MAP 15.75%; Not Pooled]
hyderabad [Experiment HITD; MAP 15.60%; Not Pooled]
budapest−acad [Experiment BILING_6; MAP 14.67%; Not Pooled]
budapest−acad [Experiment BILING_4; MAP 14.36%; Not Pooled]
budapest−acad [Experiment BILING_2; MAP 14.36%; Not Pooled]
budapest−acad [Experiment BILING_1; MAP 14.17%; Not Pooled]
budapest−acad [Experiment BILING_3; MAP 14.16%; Not Pooled]
budapest−acad [Experiment BILING_5; MAP 14.16%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN8; MAP 12.92%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN6; MAP 11.76%; Not Pooled]
jadavpur [Experiment AHBILITE2ENR1; MAP 11.28%; Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN4; MAP 10.97%; Not Pooled]
jadavpur [Experiment AHBILIHI2ENR1; MAP 10.86%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN2; MAP 10.51%; Not Pooled]
jadavpur [Experiment AHBILIBN2ENR1; MAP 10.18%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN7; MAP 9.76%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN5; MAP 8.30%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN1; MAP 7.77%; Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN3; MAP 7.72%; Not Pooled]
kharagpur [Experiment BENGALITITLEDESC; MAP 7.26%; Not Pooled]
kharagpur [Experiment BENGALITITLEDESCNARR; MAP 7.19%; Not Pooled]
kharagpur [Experiment BENGALITITLE; MAP 4.98%; Pooled]
kharagpur [Experiment HINDITITLE; MAP 4.77%; Not Pooled]
kharagpur [Experiment HINDITITLEDESCNARR; MAP 4.77%; Not Pooled]
depok [Experiment UIQTDENGFB5D5T10D19T; MAP 4.62%; Not Pooled]
kharagpur [Experiment HINDITITLEDESC; MAP 4.39%; Not Pooled]
depok [Experiment UIQTDENGPSEUDOTRANS20D14T; MAP 3.74%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
209
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
10.2455/TUKEY_T_TEST.4E800CB597F00B0A2CEF6D50479867EF
Ad−Hoc Bilingual English Task − Tukey T test with "top group" highlighted
UIQTDTOGGLEFB10D10T
UIQTTOGGLEFB10D10T
UIQTDTOGGLE
UIQTDDESYNFB10D10T
GRAWOTD
UIQTDINTERSECTIONUNIONSYNFB5D10T
UIQTDDESYNFB5D10T
APLBIIDENTDS
UIQTDINTERSECTIONUNIONSYNFB10D10T
UIQTTOGGLE
UIQTDDESYNFB10D5T
GRAUWOTD
GRAUWOT
APLBIIDENTD5
APLBIIDENTD4
GRAWOT
OMTD07
OMTDN07
APLBIIDENTDW
IITB_HINDI_TITLEDESC_DICE
UIQTDINTERSECTIONUNIONSYN
GRAWTD
COOTD
IITB_HINDI_TITLEDESC_PMI
OMT07
ALLTRANSTD
GRAUWTD
GRAUWT
GRAWT
COOT
IITB_HINDI_TITLE_DICE
ALLTRANST
Experiments
TETD
2007_LM_ALL_CROSS_1000_POSSCORES
IITB_MAR_TITLE_DICE
2007_RBLM_ALL_CROSS_1000_POSSCORES
RBLM_ALL_CROSS_TD_1000_POSSCORES
NOST_OMTDN07
IITB_HINDI_TITLE_PMI
LM_ALL_CROSS_TD_1000_POSSCORES
IITB_MAR_TITLE_PMI
BILING_WIKI6
BILING_WIKI2
BILING_WIKI4
BILING_WIKI1
BILING_WIKI3
BILING_WIKI5
HITD
BILING_6
BILING_4
BILING_2
BILING_5
BILING_1
BILING_3
AHBILITE2ENR1
AHBILIHI2ENR1
DSV_AMH_BLNG_RUN8
AHBILIBN2ENR1
DSV_AMH_BLNG_RUN6
DSV_AMH_BLNG_RUN7
DSV_AMH_BLNG_RUN4
DSV_AMH_BLNG_RUN2
DSV_AMH_BLNG_RUN5
BENGALITITLEDESC
BENGALITITLEDESCNARR
DSV_AMH_BLNG_RUN1
DSV_AMH_BLNG_RUN3
HINDITITLEDESCNARR
HINDITITLE
BENGALITITLE
UIQTDENGFB5D5T10D19T
HINDITITLEDESC
UIQTDENGPSEUDOTRANS20D14T
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
arcsin(sqrt(Average Precsion))
210
211
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Ad−Hoc Bilingual English Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
depok [Experiment UIQTDTOGGLEFB10D10T; R−Prec 38.12%; Not Pooled]
nottingham [Experiment GRAWOTD; R−Prec 34.89%; Not Pooled]
90% jhu−apl [Experiment APLBIIDENTDS; R−Prec 32.91%; Not Pooled]
hyderabad [Experiment OMTD07; R−Prec 30.63%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; R−Prec 30.81%; Not Pooled]
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
depok [Experiment UIQTDTOGGLEFB10D10T; R−Prec 38.12%; Not Pooled]
nottingham [Experiment GRAWOTD; R−Prec 34.89%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDS; R−Prec 32.91%; Not Pooled]
0.8
hyderabad [Experiment OMTD07; R−Prec 30.63%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; R−Prec 30.81%; Not Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
Ad−Hoc Bilingual English Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
depok [Experiment UIQTDTOGGLEFB10D10T; R−Prec 38.12%; Not Pooled]
nottingham [Experiment GRAWOTD; R−Prec 34.89%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDS; R−Prec 32.91%; Not Pooled]
0.8
hyderabad [Experiment OMTD07; R−Prec 30.63%; Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; R−Prec 30.81%; Not Pooled]
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
212
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Ad−Hoc Bilingual English Task − Box Plot of the Topics
depok [Experiment UIQTDTOGGLEFB10D10T; R−Prec 38.12%; Not Pooled]
depok [Experiment UIQTTOGGLEFB10D10T; R−Prec 37.59%; Pooled]
nottingham [Experiment GRAWOTD; R−Prec 34.89%; Not Pooled]
depok [Experiment UIQTDTOGGLE; R−Prec 34.53%; Not Pooled]
depok [Experiment UIQTTOGGLE; R−Prec 33.74%; Not Pooled]
depok [Experiment UIQTDDESYNFB10D10T; R−Prec 33.73%; Not Pooled]
depok [Experiment UIQTDDESYNFB5D10T; R−Prec 33.07%; Not Pooled]
nottingham [Experiment GRAUWOTD; R−Prec 33.02%; Not Pooled]
nottingham [Experiment GRAUWOT; R−Prec 32.96%; Not Pooled]
jhu−apl [Experiment APLBIIDENTDS; R−Prec 32.91%; Not Pooled]
depok [Experiment UIQTDINTERSECTIONUNIONSYNFB5D10T; R−Prec 32.88%; Not Pooled]
depok [Experiment UIQTDINTERSECTIONUNIONSYNFB10D10T; R−Prec 32.76%; Not Pooled]
jhu−apl [Experiment APLBIIDENTD4; R−Prec 32.65%; Pooled]
jhu−apl [Experiment APLBIIDENTD5; R−Prec 32.59%; Not Pooled]
nottingham [Experiment GRAWOT; R−Prec 32.58%; Not Pooled]
depok [Experiment UIQTDDESYNFB10D5T; R−Prec 32.34%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_DICE; R−Prec 30.81%; Not Pooled]
hyderabad [Experiment OMTD07; R−Prec 30.63%; Pooled]
jhu−apl [Experiment APLBIIDENTDW; R−Prec 30.40%; Not Pooled]
hyderabad [Experiment OMTDN07; R−Prec 29.73%; Not Pooled]
depok [Experiment UIQTDINTERSECTIONUNIONSYN; R−Prec 28.31%; Not Pooled]
nottingham [Experiment COOTD; R−Prec 27.84%; Not Pooled]
nottingham [Experiment GRAWTD; R−Prec 27.84%; Not Pooled]
nottingham [Experiment ALLTRANSTD; R−Prec 27.78%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLEDESC_PMI; R−Prec 27.19%; Not Pooled]
nottingham [Experiment GRAUWTD; R−Prec 27.14%; Not Pooled]
hyderabad [Experiment OMT07; R−Prec 26.24%; Not Pooled]
nottingham [Experiment GRAUWT; R−Prec 26.19%; Not Pooled]
nottingham [Experiment COOT; R−Prec 26.17%; Not Pooled]
nottingham [Experiment GRAWT; R−Prec 26.17%; Pooled]
nottingham [Experiment ALLTRANST; R−Prec 25.58%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLE_DICE; R−Prec 24.68%; Not Pooled]
hyderabad [Experiment TETD; R−Prec 24.67%; Not Pooled]
bombay−ltrc [Experiment IITB_MAR_TITLE_DICE; R−Prec 23.71%; Not Pooled]
bombay−ltrc [Experiment IITB_HINDI_TITLE_PMI; R−Prec 22.29%; Not Pooled]
Experiments
hyderabad [Experiment NOST_OMTDN07; R−Prec 22.17%; Not Pooled]
msindia [Experiment RBLM_ALL_CROSS_TD_1000_POSSCORES; R−Prec 22.05%; Not Pooled]
msindia [Experiment 2007_LM_ALL_CROSS_1000_POSSCORES; R−Prec 22.03%; Pooled]
msindia [Experiment 2007_RBLM_ALL_CROSS_1000_POSSCORES; R−Prec 21.77%; Not Pooled]
bombay−ltrc [Experiment IITB_MAR_TITLE_PMI; R−Prec 21.21%; Pooled]
msindia [Experiment LM_ALL_CROSS_TD_1000_POSSCORES; R−Prec 19.91%; Not Pooled]
budapest−acad [Experiment BILING_WIKI6; R−Prec 18.99%; Not Pooled]
budapest−acad [Experiment BILING_WIKI1; R−Prec 18.87%; Pooled]
budapest−acad [Experiment BILING_WIKI4; R−Prec 18.73%; Not Pooled]
budapest−acad [Experiment BILING_WIKI3; R−Prec 18.43%; Not Pooled]
budapest−acad [Experiment BILING_WIKI5; R−Prec 18.41%; Not Pooled]
budapest−acad [Experiment BILING_WIKI2; R−Prec 18.37%; Not Pooled]
hyderabad [Experiment HITD; R−Prec 16.89%; Not Pooled]
budapest−acad [Experiment BILING_6; R−Prec 15.95%; Not Pooled]
budapest−acad [Experiment BILING_4; R−Prec 15.83%; Not Pooled]
budapest−acad [Experiment BILING_1; R−Prec 15.82%; Not Pooled]
budapest−acad [Experiment BILING_5; R−Prec 15.72%; Not Pooled]
budapest−acad [Experiment BILING_2; R−Prec 15.67%; Not Pooled]
budapest−acad [Experiment BILING_3; R−Prec 15.52%; Not Pooled]
jadavpur [Experiment AHBILITE2ENR1; R−Prec 13.92%; Pooled]
jadavpur [Experiment AHBILIHI2ENR1; R−Prec 13.71%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN8; R−Prec 13.31%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN6; R−Prec 12.88%; Not Pooled]
jadavpur [Experiment AHBILIBN2ENR1; R−Prec 12.49%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN7; R−Prec 10.85%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN4; R−Prec 10.57%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN2; R−Prec 10.44%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN5; R−Prec 10.18%; Not Pooled]
kharagpur [Experiment BENGALITITLEDESCNARR; R−Prec 9.00%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN1; R−Prec 8.78%; Pooled]
kharagpur [Experiment BENGALITITLEDESC; R−Prec 8.53%; Not Pooled]
stockholm [Experiment DSV_AMH_BLNG_RUN3; R−Prec 8.21%; Not Pooled]
depok [Experiment UIQTDENGFB5D5T10D19T; R−Prec 6.11%; Not Pooled]
kharagpur [Experiment BENGALITITLE; R−Prec 5.86%; Pooled]
kharagpur [Experiment HINDITITLEDESCNARR; R−Prec 5.76%; Not Pooled]
depok [Experiment UIQTDENGPSEUDOTRANS20D14T; R−Prec 5.69%; Not Pooled]
kharagpur [Experiment HINDITITLE; R−Prec 5.34%; Not Pooled]
kharagpur [Experiment HINDITITLEDESC; R−Prec 5.19%; Not Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
213
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Ad−Hoc Bilingual English Task − Tukey T test with "top group" highlighted
UIQTDTOGGLEFB10D10T
UIQTTOGGLEFB10D10T
UIQTDTOGGLE
UIQTTOGGLE
GRAWOTD
UIQTDDESYNFB10D10T
UIQTDINTERSECTIONUNIONSYNFB10D10T
UIQTDINTERSECTIONUNIONSYNFB5D10T
OMTD07
UIQTDDESYNFB5D10T
APLBIIDENTDS
UIQTDDESYNFB10D5T
GRAUWOTD
APLBIIDENTD4
APLBIIDENTD5
OMTDN07
GRAUWOT
IITB_HINDI_TITLEDESC_DICE
GRAWOT
UIQTDINTERSECTIONUNIONSYN
APLBIIDENTDW
OMT07
IITB_HINDI_TITLEDESC_PMI
GRAWTD
COOTD
ALLTRANSTD
TETD
GRAUWTD
GRAUWT
GRAWT
COOT
IITB_HINDI_TITLE_DICE
Experiments
IITB_MAR_TITLE_DICE
2007_LM_ALL_CROSS_1000_POSSCORES
ALLTRANST
NOST_OMTDN07
2007_RBLM_ALL_CROSS_1000_POSSCORES
RBLM_ALL_CROSS_TD_1000_POSSCORES
IITB_HINDI_TITLE_PMI
IITB_MAR_TITLE_PMI
LM_ALL_CROSS_TD_1000_POSSCORES
BILING_WIKI1
BILING_WIKI6
BILING_WIKI4
BILING_WIKI3
BILING_WIKI5
BILING_WIKI2
HITD
BILING_1
BILING_2
BILING_6
BILING_4
BILING_5
BILING_3
AHBILITE2ENR1
AHBILIHI2ENR1
AHBILIBN2ENR1
DSV_AMH_BLNG_RUN8
DSV_AMH_BLNG_RUN6
DSV_AMH_BLNG_RUN7
DSV_AMH_BLNG_RUN5
DSV_AMH_BLNG_RUN2
BENGALITITLEDESCNARR
DSV_AMH_BLNG_RUN4
BENGALITITLEDESC
DSV_AMH_BLNG_RUN1
DSV_AMH_BLNG_RUN3
UIQTDENGFB5D5T10D19T
UIQTDENGPSEUDOTRANS20D14T
HINDITITLEDESCNARR
HINDITITLEDESC
BENGALITITLE
HINDITITLE
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8
arcsin(sqrt(R−Precision))
214
215
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.00 5.00 5.00 6.00 6.00 4.70 1.84 1.00 6.00 0.39 1.91 0.00 1.31 4.00 6.00 5.46 0.56
402-AH 1.00 26.75 35.00 57.00 62.00 38.67 17.50 30.25 61.00 0.45 32.67 20.15 15.22 1.00 62.00 38.67 17.50
403-AH 1.00 20.00 31.00 45.00 55.00 30.70 15.73 25.00 54.00 0.51 23.50 11.68 13.33 1.00 55.00 30.70 15.73
404-AH 0.00 1.00 1.00 1.00 1.00 0.96 0.20 0.00 1.00 0.21 0.62 0.00 0.08 1.00 1.00 1.00 0.00
405-AH 0.00 9.75 18.00 20.25 21.00 14.42 7.71 10.50 21.00 0.53 2.85 0.00 6.42 0.00 21.00 14.42 7.71
406-AH 0.00 6.00 14.00 17.00 21.00 12.11 6.32 11.00 21.00 0.52 5.88 0.00 5.47 0.00 21.00 12.11 6.32
407-AH 0.00 15.00 19.00 23.00 23.00 18.03 5.60 8.00 23.00 0.31 11.78 0.00 4.32 9.00 23.00 18.79 4.31
408-AH 1.00 17.00 17.00 18.00 18.00 16.36 3.07 1.00 17.00 0.19 15.71 13.27 2.01 16.00 18.00 17.59 0.53
409-AH 2.00 18.00 19.00 19.00 19.00 17.47 3.45 1.00 17.00 0.20 16.67 14.36 2.01 17.00 19.00 18.63 0.58
410-AH 3.00 46.00 47.00 47.00 47.00 43.74 9.65 1.00 44.00 0.22 40.79 31.48 5.18 45.00 47.00 46.77 0.49
411-AH 0.00 7.00 9.00 10.00 10.00 8.11 2.86 3.00 10.00 0.35 4.50 0.00 2.18 3.00 10.00 8.86 1.71
412-AH 0.00 6.75 10.00 17.50 25.00 11.45 6.56 10.75 25.00 0.57 4.10 0.00 5.51 0.00 25.00 11.45 6.56
413-AH 0.00 4.00 15.00 15.00 15.00 10.86 5.96 11.00 15.00 0.55 4.12 0.00 5.33 0.00 15.00 10.86 5.96
414-AH 0.00 4.00 4.00 4.00 4.00 3.48 1.19 0.00 4.00 0.34 1.30 0.00 0.84 4.00 4.00 4.00 0.00
415-AH 1.00 7.75 18.00 54.25 69.00 29.58 24.55 46.50 68.00 0.83 16.91 7.73 22.75 1.00 69.00 29.58 24.55
416-AH 0.00 31.00 32.00 33.00 33.00 29.56 7.87 2.00 33.00 0.27 18.98 0.00 4.62 28.00 33.00 32.08 1.34
417-AH 0.00 21.00 30.00 50.75 89.00 36.36 25.62 29.75 89.00 0.70 6.29 0.00 21.20 0.00 89.00 36.36 25.62
418-AH 0.00 13.00 14.00 14.00 14.00 11.22 5.32 1.00 14.00 0.47 2.41 0.00 4.23 12.00 14.00 13.93 0.32
419-AH 0.00 10.00 23.00 23.00 23.00 17.62 8.47 13.00 23.00 0.48 3.72 0.00 7.19 0.00 23.00 17.62 8.47
420-AH 0.00 10.00 29.00 44.00 46.00 26.37 15.75 34.00 46.00 0.60 11.59 0.00 13.63 0.00 46.00 26.37 15.75
421-AH 0.00 6.00 12.00 12.00 12.00 9.07 4.37 6.00 12.00 0.48 1.74 0.00 3.66 0.00 12.00 9.07 4.37
422-AH 4.00 17.00 29.00 37.00 53.00 27.27 12.71 20.00 49.00 0.47 23.29 18.36 10.44 4.00 53.00 27.27 12.71
423-AH 0.00 0.00 1.00 1.00 1.00 0.68 0.47 1.00 1.00 0.68 0.03 0.00 0.43 0.00 1.00 0.68 0.47
424-AH 0.00 1.00 3.00 5.00 5.00 2.79 1.87 4.00 5.00 0.67 0.27 0.00 1.65 0.00 5.00 2.79 1.87
425-AH 0.00 8.00 21.00 32.00 37.00 20.49 12.26 24.00 37.00 0.60 10.68 0.00 10.97 0.00 37.00 20.49 12.26
426-AH 2.00 59.00 106.00 126.25 154.00 93.21 43.67 67.25 152.00 0.47 73.53 37.36 36.29 2.00 154.00 93.21 43.67
427-AH 0.00 5.00 15.00 16.00 16.00 10.56 6.39 11.00 16.00 0.60 0.97 0.00 5.78 0.00 16.00 10.56 6.39
428-AH 0.00 5.00 7.00 9.00 10.00 6.66 2.73 4.00 10.00 0.41 5.03 0.00 2.29 0.00 10.00 6.66 2.73
429-AH 0.00 13.75 36.00 52.25 56.00 34.10 18.18 38.50 56.00 0.53 19.09 0.00 15.62 0.00 56.00 34.10 18.18
430-AH 0.00 7.50 23.00 28.00 31.00 18.95 10.96 20.50 31.00 0.58 3.65 0.00 9.50 0.00 31.00 18.95 10.96
431-AH 0.00 5.75 17.00 18.00 20.00 12.75 6.96 12.25 20.00 0.55 8.06 0.00 6.17 0.00 20.00 12.75 6.96
432-AH 0.00 5.00 16.00 23.00 23.00 13.40 8.87 18.00 23.00 0.66 4.59 0.00 8.14 0.00 23.00 13.40 8.87
433-AH 2.00 124.75 239.00 255.00 255.00 193.70 75.95 130.25 253.00 0.39 162.93 67.86 66.20 2.00 255.00 193.70 75.95
434-AH 5.00 67.75 99.00 110.00 111.00 82.08 36.03 42.25 106.00 0.44 62.99 31.40 28.86 5.00 111.00 82.08 36.03
435-AH 6.00 47.75 103.00 109.00 114.00 81.75 37.28 61.25 108.00 0.46 64.57 37.16 31.77 6.00 114.00 81.75 37.28
436-AH 1.00 29.75 47.00 65.00 77.00 44.41 24.13 35.25 76.00 0.54 32.57 15.25 20.70 1.00 77.00 44.41 24.13
437-AH 0.00 128.00 147.00 165.00 169.00 127.36 53.85 37.00 169.00 0.42 45.98 0.00 40.69 77.00 169.00 147.94 23.05
438-AH 2.00 26.75 29.00 30.00 30.00 25.62 7.90 3.25 28.00 0.31 23.17 18.02 5.72 23.00 30.00 28.95 1.65
439-AH 0.00 4.00 25.00 47.00 52.00 24.77 19.45 43.00 52.00 0.79 6.33 0.00 17.73 0.00 52.00 24.77 19.45
440-AH 0.00 6.00 13.00 17.00 18.00 11.42 6.02 11.00 18.00 0.53 4.65 0.00 5.12 0.00 18.00 11.42 6.02
441-AH 0.00 4.00 7.00 8.00 9.00 5.93 2.88 4.00 9.00 0.49 1.45 0.00 2.42 0.00 9.00 5.93 2.88
442-AH 0.00 8.00 9.00 9.00 12.00 8.21 2.33 1.00 12.00 0.28 4.71 0.00 1.34 7.00 10.00 8.73 0.51
443-AH 0.00 5.00 38.00 42.00 42.00 27.27 17.05 37.00 42.00 0.63 6.57 0.00 14.96 0.00 42.00 27.27 17.05
444-AH 3.00 18.00 24.00 25.00 25.00 21.51 5.14 7.00 22.00 0.24 20.49 18.51 3.99 12.00 25.00 22.41 3.58
445-AH 0.00 2.00 4.00 4.00 4.00 2.96 1.47 2.00 4.00 0.50 0.76 0.00 1.24 0.00 4.00 2.96 1.47
446-AH 0.00 9.00 12.00 12.00 12.00 10.00 3.14 3.00 12.00 0.31 7.66 0.00 2.38 5.00 12.00 10.66 2.03
447-AH 0.00 0.00 6.00 6.00 6.00 3.93 2.62 6.00 6.00 0.67 0.16 0.00 2.34 0.00 6.00 3.93 2.62
448-AH 0.00 4.00 4.00 4.00 4.00 3.71 0.82 0.00 4.00 0.22 2.64 0.00 0.49 4.00 4.00 4.00 0.00
449-AH 2.00 27.75 44.00 51.00 62.00 39.78 13.65 23.25 60.00 0.34 36.38 28.65 11.91 2.00 62.00 39.78 13.65
450-AH 0.00 2.00 7.00 17.00 53.00 13.52 16.51 15.00 53.00 1.22 4.01 0.00 12.65 0.00 34.00 6.84 6.55
216
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1016 0.1807 0.3380 0.6345 0.2177 0.1653 0.2365 0.6345 0.7592 0.0607 0.0001 0.1403 0.0000 0.6345 0.2177 0.1653
402-AH 0.0000 0.0133 0.0374 0.4544 0.6566 0.1985 0.2256 0.4411 0.6566 1.1364 0.0497 0.0011 0.2077 0.0000 0.6566 0.1985 0.2256
403-AH 0.0000 0.0090 0.0414 0.1038 0.2687 0.0612 0.0631 0.0948 0.2687 1.0316 0.0216 0.0007 0.0500 0.0000 0.2424 0.0583 0.0586
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0994 0.3420 0.4028 0.6497 0.2729 0.2018 0.3033 0.6497 0.7398 0.0449 0.0001 0.1745 0.0000 0.6497 0.2729 0.2018
406-AH 0.0000 0.0039 0.0435 0.0949 0.3544 0.0723 0.0839 0.0909 0.3544 1.1617 0.0179 0.0002 0.0653 0.0000 0.1911 0.0491 0.0529
407-AH 0.0000 0.0105 0.1981 0.4684 0.7992 0.2669 0.2399 0.4579 0.7992 0.8991 0.0800 0.0003 0.2184 0.0000 0.7992 0.2669 0.2399
408-AH 0.0001 0.1098 0.2929 0.4035 0.5400 0.2700 0.1642 0.2937 0.5400 0.6081 0.1643 0.0044 0.1394 0.0001 0.5400 0.2700 0.1642
409-AH 0.0005 0.2548 0.3591 0.5094 0.6640 0.3573 0.1868 0.2546 0.6635 0.5229 0.2405 0.0151 0.1512 0.0005 0.6640 0.3573 0.1868
410-AH 0.0001 0.1982 0.5685 0.7056 0.8233 0.4706 0.2831 0.5074 0.8232 0.6015 0.2736 0.0065 0.2560 0.0001 0.8233 0.4706 0.2831
411-AH 0.0000 0.0175 0.0407 0.0635 0.1291 0.0420 0.0291 0.0460 0.1291 0.6922 0.0207 0.0002 0.0246 0.0000 0.1291 0.0420 0.0291
412-AH 0.0000 0.0027 0.0102 0.0504 0.1507 0.0274 0.0359 0.0477 0.1507 1.3094 0.0075 0.0001 0.0277 0.0000 0.1143 0.0240 0.0301
413-AH 0.0000 0.0074 0.1458 0.3036 0.3952 0.1700 0.1392 0.2962 0.3952 0.8189 0.0332 0.0002 0.1254 0.0000 0.3952 0.1700 0.1392
414-AH 0.0000 0.0253 0.5000 0.5629 0.8929 0.3424 0.2967 0.5376 0.8929 0.8665 0.0775 0.0001 0.2763 0.0000 0.8929 0.3424 0.2967
415-AH 0.0000 0.0010 0.0221 0.1386 0.4733 0.0905 0.1399 0.1376 0.4732 1.5464 0.0096 0.0005 0.1098 0.0000 0.3399 0.0623 0.0964
416-AH 0.0000 0.2944 0.5158 0.6554 0.7461 0.4470 0.2373 0.3610 0.7461 0.5310 0.2251 0.0003 0.1998 0.0000 0.7461 0.4470 0.2373
417-AH 0.0000 0.0079 0.0285 0.0740 0.4136 0.0586 0.0829 0.0661 0.4136 1.4143 0.0116 0.0001 0.0560 0.0000 0.1706 0.0344 0.0362
418-AH 0.0000 0.2321 0.4835 0.6702 0.8648 0.4438 0.2839 0.4381 0.8648 0.6398 0.0822 0.0001 0.2441 0.0000 0.8648 0.4438 0.2839
419-AH 0.0000 0.0191 0.1170 0.5786 0.8358 0.2730 0.2916 0.5596 0.8358 1.0681 0.0409 0.0001 0.2587 0.0000 0.8358 0.2730 0.2916
420-AH 0.0000 0.0039 0.0405 0.1998 0.5699 0.1367 0.1808 0.1959 0.5699 1.3222 0.0219 0.0002 0.1431 0.0000 0.4864 0.0950 0.1329
421-AH 0.0000 0.0053 0.4372 0.5524 0.8545 0.3652 0.2894 0.5472 0.8545 0.7924 0.0478 0.0001 0.2473 0.0000 0.8545 0.3652 0.2894
422-AH 0.0003 0.0048 0.0245 0.0779 0.1647 0.0420 0.0424 0.0732 0.1644 1.0084 0.0164 0.0037 0.0359 0.0003 0.1647 0.0420 0.0424
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0003 0.0044 0.0167 0.3655 0.0376 0.0806 0.0164 0.3655 2.1437 0.0022 0.0001 0.0534 0.0000 0.0307 0.0046 0.0064
425-AH 0.0000 0.0035 0.0464 0.1311 0.2610 0.0721 0.0724 0.1276 0.2610 1.0037 0.0188 0.0003 0.0637 0.0000 0.2610 0.0721 0.0724
426-AH 0.0000 0.0190 0.0965 0.1799 0.2463 0.1112 0.0810 0.1609 0.2463 0.7289 0.0525 0.0011 0.0713 0.0000 0.2463 0.1112 0.0810
427-AH 0.0000 0.0057 0.1282 0.2719 0.5317 0.1589 0.1644 0.2662 0.5317 1.0344 0.0166 0.0001 0.1411 0.0000 0.5317 0.1589 0.1644
428-AH 0.0000 0.0075 0.0233 0.0655 0.2915 0.0490 0.0628 0.0580 0.2915 1.2813 0.0207 0.0007 0.0445 0.0000 0.1410 0.0336 0.0347
429-AH 0.0000 0.0088 0.0501 0.1654 0.3392 0.0992 0.1041 0.1567 0.3392 1.0485 0.0335 0.0004 0.0872 0.0000 0.3392 0.0992 0.1041
430-AH 0.0000 0.0037 0.1716 0.4725 0.6663 0.2391 0.2306 0.4688 0.6663 0.9644 0.0320 0.0001 0.2103 0.0000 0.6663 0.2391 0.2306
431-AH 0.0000 0.0037 0.0362 0.2080 0.9189 0.1902 0.2941 0.2044 0.9189 1.5460 0.0279 0.0005 0.2282 0.0000 0.3941 0.0613 0.0921
432-AH 0.0000 0.0032 0.0771 0.2923 0.4172 0.1398 0.1451 0.2891 0.4172 1.0381 0.0165 0.0001 0.1329 0.0000 0.4172 0.1398 0.1451
433-AH 0.0000 0.1599 0.5577 0.7047 0.7995 0.4627 0.2819 0.5448 0.7995 0.6093 0.2621 0.0022 0.2556 0.0000 0.7995 0.4627 0.2819
434-AH 0.0005 0.0918 0.4770 0.8460 0.9335 0.4711 0.3505 0.7542 0.9330 0.7441 0.1746 0.0085 0.3178 0.0005 0.9335 0.4711 0.3505
435-AH 0.0003 0.0643 0.4277 0.6840 0.7742 0.3904 0.2880 0.6198 0.7739 0.7377 0.1500 0.0066 0.2580 0.0003 0.7742 0.3904 0.2880
436-AH 0.0000 0.0197 0.0876 0.1763 0.3152 0.1062 0.0953 0.1566 0.3152 0.8980 0.0340 0.0010 0.0814 0.0000 0.3152 0.1062 0.0953
437-AH 0.0000 0.1182 0.2325 0.4463 0.8320 0.3011 0.2425 0.3281 0.8320 0.8053 0.0908 0.0001 0.2052 0.0000 0.8320 0.3011 0.2425
438-AH 0.0002 0.0833 0.1485 0.2207 0.3656 0.1572 0.0879 0.1374 0.3654 0.5595 0.1111 0.0084 0.0743 0.0002 0.3656 0.1572 0.0879
439-AH 0.0000 0.0008 0.0289 0.0765 0.1098 0.0408 0.0402 0.0757 0.1098 0.9849 0.0073 0.0001 0.0356 0.0000 0.1098 0.0408 0.0402
440-AH 0.0000 0.0023 0.0551 0.2192 0.5128 0.1183 0.1467 0.2169 0.5128 1.2397 0.0177 0.0002 0.1175 0.0000 0.5128 0.1183 0.1467
441-AH 0.0000 0.0121 0.0558 0.1608 0.7553 0.1440 0.2041 0.1488 0.7553 1.4170 0.0226 0.0001 0.1528 0.0000 0.3597 0.0684 0.0872
442-AH 0.0000 0.2431 0.4442 0.5457 0.7751 0.3769 0.1950 0.3026 0.7751 0.5175 0.1762 0.0002 0.1632 0.0000 0.7751 0.3769 0.1950
443-AH 0.0000 0.0022 0.2214 0.5093 0.6261 0.2653 0.2400 0.5071 0.6261 0.9046 0.0265 0.0001 0.2249 0.0000 0.6261 0.2653 0.2400
444-AH 0.0019 0.0627 0.1740 0.2788 0.4430 0.1840 0.1263 0.2161 0.4411 0.6865 0.1267 0.0461 0.1050 0.0019 0.4430 0.1840 0.1263
445-AH 0.0000 0.0144 0.3708 0.5022 0.8750 0.3579 0.2966 0.4878 0.8750 0.8288 0.0541 0.0001 0.2503 0.0000 0.8750 0.3579 0.2966
446-AH 0.0000 0.0136 0.2120 0.3317 0.6218 0.1996 0.1857 0.3181 0.6218 0.9301 0.0614 0.0006 0.1553 0.0000 0.6218 0.1996 0.1857
447-AH 0.0000 0.0000 0.3439 0.8734 0.9762 0.3969 0.4096 0.8734 0.9762 1.0320 0.0113 0.0000 0.3843 0.0000 0.9762 0.3969 0.4096
448-AH 0.0000 0.0724 0.2145 0.5301 0.9500 0.3190 0.3161 0.4576 0.9500 0.9909 0.1145 0.0004 0.2650 0.0000 0.9500 0.3190 0.3161
449-AH 0.0000 0.0255 0.1663 0.3092 0.5699 0.2018 0.1829 0.2837 0.5698 0.9060 0.0894 0.0032 0.1616 0.0000 0.5699 0.2018 0.1829
450-AH 0.0000 0.0002 0.0010 0.0101 0.1445 0.0229 0.0456 0.0099 0.1445 1.9891 0.0015 0.0001 0.0335 0.0000 0.0182 0.0025 0.0043
217
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.1667 0.3333 0.6667 0.2443 0.1906 0.3333 0.6667 0.7802 0.0204 0.0000 0.1676 0.0000 0.6667 0.2443 0.1906
402-AH 0.0000 0.0121 0.0806 0.4516 0.5968 0.2055 0.2164 0.4395 0.5968 1.0533 0.0144 0.0000 0.1997 0.0000 0.5968 0.2055 0.2164
403-AH 0.0000 0.0435 0.1159 0.1739 0.3478 0.1136 0.0857 0.1304 0.3478 0.7547 0.0394 0.0001 0.0699 0.0000 0.3478 0.1136 0.0857
404-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0137 0.1170 0.0000 1.0000 8.5440 0.0000 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.1429 0.3810 0.4762 0.6667 0.3066 0.2063 0.3333 0.6667 0.6730 0.0403 0.0000 0.1808 0.0000 0.6667 0.3066 0.2063
406-AH 0.0000 0.0000 0.0952 0.1429 0.4286 0.1083 0.1154 0.1429 0.4286 1.0653 0.0073 0.0000 0.0876 0.0000 0.2857 0.0786 0.0735
407-AH 0.0000 0.0000 0.2609 0.4783 0.7391 0.2859 0.2435 0.4783 0.7391 0.8517 0.0132 0.0000 0.2207 0.0000 0.7391 0.2859 0.2435
408-AH 0.0000 0.1528 0.2778 0.3889 0.5556 0.2656 0.1680 0.2361 0.5556 0.6326 0.0371 0.0000 0.1402 0.0000 0.5556 0.2656 0.1680
409-AH 0.0000 0.2632 0.3684 0.5263 0.6316 0.3828 0.1872 0.2632 0.6316 0.4889 0.1801 0.0001 0.1520 0.0000 0.6316 0.3828 0.1872
410-AH 0.0000 0.2713 0.5319 0.7234 0.8085 0.4722 0.2744 0.4521 0.8085 0.5811 0.1932 0.0001 0.2420 0.0000 0.8085 0.4722 0.2744
411-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0096 0.0296 0.0000 0.1000 3.0918 0.0000 0.0000 0.0173 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0741 0.1852 0.0401 0.0558 0.0741 0.1852 1.3925 0.0006 0.0000 0.0448 0.0000 0.1852 0.0401 0.0558
413-AH 0.0000 0.0000 0.2000 0.2833 0.5333 0.1753 0.1550 0.2833 0.5333 0.8838 0.0068 0.0000 0.1384 0.0000 0.5333 0.1753 0.1550
414-AH 0.0000 0.0000 0.5000 0.5000 0.7500 0.2945 0.2743 0.5000 0.7500 0.9314 0.0044 0.0000 0.2606 0.0000 0.7500 0.2945 0.2743
415-AH 0.0000 0.0000 0.0282 0.2394 0.5070 0.1181 0.1594 0.2394 0.5070 1.3499 0.0057 0.0000 0.1330 0.0000 0.5070 0.1181 0.1594
416-AH 0.0000 0.3258 0.5152 0.6439 0.7576 0.4624 0.2297 0.3182 0.7576 0.4968 0.1844 0.0001 0.1850 0.0000 0.7576 0.4624 0.2297
417-AH 0.0000 0.0421 0.0842 0.1474 0.3895 0.1019 0.0905 0.1053 0.3895 0.8880 0.0258 0.0001 0.0701 0.0000 0.2947 0.0938 0.0775
418-AH 0.0000 0.2143 0.5000 0.6429 0.7857 0.3924 0.2559 0.4286 0.7857 0.6522 0.0557 0.0001 0.2295 0.0000 0.7857 0.3924 0.2559
419-AH 0.0000 0.0000 0.1304 0.6087 0.7391 0.2644 0.2875 0.6087 0.7391 1.0871 0.0043 0.0000 0.2602 0.0000 0.7391 0.2644 0.2875
420-AH 0.0000 0.0000 0.0870 0.2826 0.6087 0.1563 0.1804 0.2826 0.6087 1.1540 0.0080 0.0000 0.1489 0.0000 0.6087 0.1563 0.1804
421-AH 0.0000 0.0000 0.3333 0.5000 0.8333 0.3288 0.2693 0.5000 0.8333 0.8190 0.0136 0.0000 0.2183 0.0000 0.8333 0.3288 0.2693
422-AH 0.0000 0.0196 0.0980 0.1593 0.2647 0.0958 0.0738 0.1397 0.2647 0.7703 0.0403 0.0002 0.0638 0.0000 0.2647 0.0958 0.0738
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0411 0.1052 0.0000 0.4000 2.5597 0.0000 0.0000 0.0698 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0270 0.0811 0.1892 0.3243 0.0996 0.0953 0.1622 0.3243 0.9572 0.0138 0.0000 0.0835 0.0000 0.3243 0.0996 0.0953
426-AH 0.0000 0.0681 0.2019 0.2676 0.3333 0.1830 0.1015 0.1995 0.3333 0.5550 0.1207 0.0007 0.0856 0.0000 0.3333 0.1830 0.1015
427-AH 0.0000 0.0000 0.0625 0.3125 0.5000 0.1404 0.1586 0.3125 0.5000 1.1294 0.0027 0.0000 0.1372 0.0000 0.5000 0.1404 0.1586
428-AH 0.0000 0.0000 0.0000 0.0909 0.3636 0.0598 0.0805 0.0909 0.3636 1.3465 0.0008 0.0000 0.0639 0.0000 0.1818 0.0461 0.0575
429-AH 0.0000 0.0339 0.1186 0.2034 0.4068 0.1375 0.1128 0.1695 0.4068 0.8204 0.0447 0.0001 0.0886 0.0000 0.4068 0.1375 0.1128
430-AH 0.0000 0.0242 0.2903 0.4597 0.6452 0.2541 0.2177 0.4355 0.6452 0.8569 0.0208 0.0000 0.1978 0.0000 0.6452 0.2541 0.2177
431-AH 0.0000 0.0000 0.0500 0.3000 0.8500 0.1890 0.2717 0.3000 0.8500 1.4374 0.0021 0.0000 0.2201 0.0000 0.7500 0.1621 0.2432
432-AH 0.0000 0.0000 0.2500 0.3333 0.5000 0.1815 0.1679 0.3333 0.5000 0.9249 0.0047 0.0000 0.1573 0.0000 0.5000 0.1815 0.1679
433-AH 0.0039 0.2902 0.5451 0.6559 0.7216 0.4748 0.2183 0.3657 0.7176 0.4598 0.3688 0.1212 0.1896 0.0039 0.7216 0.4748 0.2183
434-AH 0.0090 0.1486 0.4955 0.7477 0.9009 0.4609 0.3056 0.5991 0.8919 0.6630 0.2799 0.0922 0.2734 0.0090 0.9009 0.4609 0.3056
435-AH 0.0000 0.1623 0.4298 0.6601 0.7193 0.3973 0.2536 0.4978 0.7193 0.6383 0.2021 0.0004 0.2227 0.0000 0.7193 0.3973 0.2536
436-AH 0.0000 0.0385 0.1538 0.2308 0.3974 0.1531 0.1189 0.1923 0.3974 0.7766 0.0395 0.0001 0.1001 0.0000 0.3974 0.1531 0.1189
437-AH 0.0000 0.1361 0.3136 0.5104 0.7456 0.3271 0.2270 0.3743 0.7456 0.6940 0.0938 0.0001 0.1939 0.0000 0.7456 0.3271 0.2270
438-AH 0.0000 0.1000 0.2000 0.2417 0.4667 0.1849 0.1093 0.1417 0.4667 0.5910 0.0613 0.0001 0.0875 0.0000 0.4333 0.1810 0.1048
439-AH 0.0000 0.0128 0.0897 0.1410 0.2179 0.0801 0.0629 0.1282 0.2179 0.7860 0.0103 0.0000 0.0557 0.0000 0.2179 0.0801 0.0629
440-AH 0.0000 0.0000 0.1111 0.2222 0.5556 0.1461 0.1629 0.2222 0.5556 1.1148 0.0043 0.0000 0.1358 0.0000 0.4444 0.1224 0.1329
441-AH 0.0000 0.0000 0.1111 0.2222 0.7778 0.1613 0.2283 0.2222 0.7778 1.4153 0.0017 0.0000 0.1770 0.0000 0.4444 0.0829 0.1163
442-AH 0.0000 0.2500 0.5000 0.5000 0.7500 0.3790 0.1974 0.2500 0.7500 0.5209 0.1208 0.0001 0.1664 0.0000 0.7500 0.3790 0.1974
443-AH 0.0000 0.0000 0.2857 0.5000 0.6429 0.2886 0.2341 0.5000 0.6429 0.8109 0.0215 0.0000 0.2163 0.0000 0.6429 0.2886 0.2341
444-AH 0.0000 0.1100 0.2000 0.3200 0.4400 0.2115 0.1290 0.2100 0.4400 0.6100 0.1073 0.0002 0.1080 0.0000 0.4400 0.2115 0.1290
445-AH 0.0000 0.0000 0.2500 0.5000 0.7500 0.3425 0.2780 0.5000 0.7500 0.8117 0.0178 0.0000 0.2470 0.0000 0.7500 0.3425 0.2780
446-AH 0.0000 0.0000 0.2500 0.3542 0.6667 0.2158 0.2096 0.3542 0.6667 0.9717 0.0066 0.0000 0.1854 0.0000 0.6667 0.2158 0.2096
447-AH 0.0000 0.0000 0.1667 0.8333 0.8333 0.3447 0.3751 0.8333 0.8333 1.0880 0.0031 0.0000 0.3513 0.0000 0.8333 0.3447 0.3751
448-AH 0.0000 0.0000 0.2500 0.5000 0.7500 0.2466 0.2748 0.5000 0.7500 1.1144 0.0038 0.0000 0.2162 0.0000 0.7500 0.2466 0.2748
449-AH 0.0000 0.0625 0.2812 0.3750 0.5781 0.2560 0.1979 0.3125 0.5781 0.7731 0.0752 0.0001 0.1771 0.0000 0.5781 0.2560 0.1979
450-AH 0.0000 0.0000 0.0167 0.0333 0.2667 0.0475 0.0844 0.0333 0.2667 1.7768 0.0008 0.0000 0.0627 0.0000 0.0833 0.0108 0.0184
218
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0208 0.1667 0.3333 0.6389 0.1956 0.1651 0.3125 0.6389 0.8440 0.0183 0.0000 0.1428 0.0000 0.6389 0.1956 0.1651
402-AH 0.0029 0.0299 0.1816 0.4575 0.6597 0.2512 0.2149 0.4276 0.6569 0.8557 0.1196 0.0359 0.1966 0.0029 0.6597 0.2512 0.2149
403-AH 0.0000 0.0718 0.1122 0.1641 0.3762 0.1186 0.0805 0.0923 0.3762 0.6787 0.0501 0.0001 0.0614 0.0000 0.2443 0.1117 0.0701
404-AH 0.0000 0.0000 0.0000 0.0000 1.0000 0.0137 0.1170 0.0000 1.0000 8.5440 0.0000 0.0000 0.0270 0.0000 0.0000 0.0000 0.0000
405-AH 0.0000 0.1179 0.3061 0.4252 0.6100 0.2861 0.1877 0.3073 0.6100 0.6561 0.0434 0.0001 0.1567 0.0000 0.6100 0.2861 0.1877
406-AH 0.0000 0.0113 0.0476 0.1412 0.4444 0.0930 0.1086 0.1298 0.4444 1.1676 0.0112 0.0000 0.0865 0.0000 0.3129 0.0881 0.1010
407-AH 0.0000 0.0000 0.1645 0.4768 0.7637 0.2629 0.2367 0.4768 0.7637 0.9005 0.0180 0.0000 0.2153 0.0000 0.7637 0.2629 0.2367
408-AH 0.0000 0.1096 0.2006 0.3596 0.4938 0.2246 0.1478 0.2500 0.4938 0.6583 0.0941 0.0001 0.1267 0.0000 0.4938 0.2246 0.1478
409-AH 0.0000 0.2292 0.3019 0.5076 0.6399 0.3436 0.1875 0.2784 0.6399 0.5458 0.1978 0.0002 0.1570 0.0000 0.6399 0.3436 0.1875
410-AH 0.0000 0.2199 0.5405 0.7319 0.7936 0.4824 0.2702 0.5120 0.7936 0.5601 0.2650 0.0002 0.2430 0.0000 0.7936 0.4824 0.2702
411-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0058 0.0191 0.0000 0.1000 3.3145 0.0000 0.0000 0.0102 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0343 0.0713 0.3018 0.0482 0.0635 0.0713 0.3018 1.3177 0.0020 0.0000 0.0456 0.0000 0.1715 0.0411 0.0477
413-AH 0.0000 0.0200 0.1600 0.2311 0.4178 0.1425 0.1216 0.2111 0.4178 0.8537 0.0141 0.0000 0.1074 0.0000 0.4178 0.1425 0.1216
414-AH 0.0000 0.0000 0.3750 0.5000 0.8125 0.2765 0.2668 0.5000 0.8125 0.9647 0.0042 0.0000 0.2466 0.0000 0.8125 0.2765 0.2668
415-AH 0.0000 0.0270 0.0708 0.2770 0.5049 0.1479 0.1570 0.2500 0.5049 1.0614 0.0576 0.0004 0.1337 0.0000 0.5049 0.1479 0.1570
416-AH 0.0000 0.3301 0.4922 0.6703 0.7365 0.4519 0.2196 0.3402 0.7365 0.4859 0.2619 0.0002 0.1866 0.0000 0.7365 0.4519 0.2196
417-AH 0.0000 0.0550 0.1108 0.1818 0.4734 0.1314 0.1006 0.1268 0.4734 0.7659 0.0431 0.0001 0.0764 0.0000 0.3562 0.1183 0.0794
418-AH 0.0000 0.1416 0.4847 0.6582 0.8214 0.4239 0.2847 0.5166 0.8214 0.6715 0.0631 0.0001 0.2509 0.0000 0.8214 0.4239 0.2847
419-AH 0.0000 0.0000 0.1267 0.6144 0.7977 0.2645 0.2895 0.6144 0.7977 1.0946 0.0059 0.0000 0.2586 0.0000 0.7977 0.2645 0.2895
420-AH 0.0000 0.0253 0.0685 0.1758 0.5714 0.1539 0.1721 0.1505 0.5714 1.1181 0.0431 0.0001 0.1346 0.0000 0.3866 0.0814 0.0754
421-AH 0.0000 0.0000 0.3819 0.4601 0.8264 0.3291 0.2686 0.4601 0.8264 0.8160 0.0150 0.0000 0.2241 0.0000 0.8264 0.3291 0.2686
422-AH 0.0241 0.0658 0.1375 0.1931 0.2575 0.1374 0.0716 0.1273 0.2334 0.5213 0.1137 0.0881 0.0626 0.0241 0.2575 0.1374 0.0716
423-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.3200 0.0318 0.0838 0.0000 0.3200 2.6364 0.0000 0.0000 0.0540 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0139 0.0460 0.1424 0.2958 0.0896 0.0912 0.1286 0.2958 1.0185 0.0181 0.0001 0.0772 0.0000 0.2958 0.0896 0.0912
426-AH 0.0071 0.2247 0.3559 0.4315 0.4988 0.3214 0.1437 0.2068 0.4917 0.4472 0.2606 0.1407 0.1175 0.0071 0.4988 0.3214 0.1437
427-AH 0.0000 0.0000 0.0508 0.2051 0.4141 0.1104 0.1368 0.2051 0.4141 1.2384 0.0032 0.0000 0.1146 0.0000 0.4141 0.1104 0.1368
428-AH 0.0000 0.0000 0.0413 0.0826 0.2727 0.0571 0.0681 0.0826 0.2727 1.1927 0.0022 0.0000 0.0516 0.0000 0.1818 0.0458 0.0502
429-AH 0.0000 0.0475 0.0931 0.2073 0.3646 0.1313 0.1062 0.1598 0.3646 0.8088 0.0598 0.0002 0.0883 0.0000 0.3646 0.1313 0.1062
430-AH 0.0000 0.0299 0.2456 0.4558 0.6389 0.2470 0.2147 0.4259 0.6389 0.8691 0.0363 0.0001 0.1930 0.0000 0.6389 0.2470 0.2147
431-AH 0.0000 0.0000 0.0075 0.2512 0.9050 0.2017 0.2988 0.2512 0.9050 1.4814 0.0029 0.0000 0.2370 0.0000 0.6025 0.0921 0.1548
432-AH 0.0000 0.0000 0.1424 0.2287 0.3368 0.1274 0.1178 0.2287 0.3368 0.9240 0.0057 0.0000 0.1054 0.0000 0.3368 0.1274 0.1178
433-AH 0.0061 0.4201 0.8574 0.9278 0.9565 0.6963 0.2860 0.5077 0.9505 0.4108 0.5786 0.2232 0.2531 0.0061 0.9565 0.6963 0.2860
434-AH 0.0327 0.3807 0.7650 0.9396 0.9709 0.6376 0.3247 0.5589 0.9382 0.5092 0.4627 0.2113 0.2796 0.0327 0.9709 0.6376 0.3247
435-AH 0.0402 0.2779 0.6883 0.8379 0.8888 0.5797 0.2969 0.5600 0.8486 0.5121 0.4309 0.2296 0.2495 0.0402 0.8888 0.5797 0.2969
436-AH 0.0038 0.1297 0.2025 0.2842 0.3874 0.1982 0.1055 0.1545 0.3836 0.5322 0.1429 0.0479 0.0823 0.0038 0.3874 0.1982 0.1055
437-AH 0.0000 0.4113 0.5531 0.6771 0.9522 0.5223 0.2494 0.2658 0.9522 0.4774 0.2566 0.0002 0.1940 0.0231 0.9522 0.5607 0.2123
438-AH 0.0000 0.0656 0.1678 0.1869 0.3767 0.1435 0.0839 0.1214 0.3767 0.5845 0.0778 0.0002 0.0653 0.0000 0.3378 0.1403 0.0797
439-AH 0.0000 0.0298 0.0901 0.1194 0.1912 0.0838 0.0560 0.0896 0.1912 0.6685 0.0376 0.0001 0.0479 0.0000 0.1912 0.0838 0.0560
440-AH 0.0000 0.0000 0.0864 0.1898 0.5370 0.1306 0.1500 0.1898 0.5370 1.1487 0.0100 0.0000 0.1169 0.0000 0.3889 0.1018 0.1091
441-AH 0.0000 0.0000 0.0247 0.1605 0.7407 0.1361 0.2080 0.1605 0.7407 1.5275 0.0018 0.0000 0.1567 0.0000 0.3951 0.0637 0.0979
442-AH 0.0000 0.2708 0.4444 0.4965 0.7569 0.3721 0.1807 0.2257 0.7569 0.4857 0.1842 0.0002 0.1471 0.0000 0.7569 0.3721 0.1807
443-AH 0.0000 0.0106 0.2540 0.4785 0.6270 0.2767 0.2153 0.4678 0.6270 0.7779 0.0258 0.0000 0.1975 0.0000 0.6270 0.2767 0.2153
444-AH 0.0000 0.0788 0.1408 0.2592 0.3824 0.1719 0.1107 0.1804 0.3824 0.6441 0.0968 0.0002 0.0933 0.0000 0.3824 0.1719 0.1107
445-AH 0.0000 0.0000 0.3125 0.5156 0.7500 0.3168 0.2640 0.5156 0.7500 0.8334 0.0189 0.0000 0.2219 0.0000 0.7500 0.3168 0.2640
446-AH 0.0000 0.0000 0.1806 0.3438 0.6111 0.2005 0.1945 0.3438 0.6111 0.9698 0.0120 0.0000 0.1612 0.0000 0.6111 0.2005 0.1945
447-AH 0.0000 0.0000 0.1667 0.8889 1.0000 0.3862 0.4210 0.8889 1.0000 1.0901 0.0032 0.0000 0.3959 0.0000 1.0000 0.3862 0.4210
448-AH 0.0000 0.0000 0.1250 0.3750 0.9375 0.2483 0.3163 0.3750 0.9375 1.2739 0.0035 0.0000 0.2514 0.0000 0.9375 0.2483 0.3163
449-AH 0.0068 0.0817 0.2483 0.3794 0.5583 0.2484 0.1825 0.2977 0.5515 0.7346 0.1620 0.0760 0.1561 0.0068 0.5583 0.2484 0.1825
450-AH 0.0000 0.0015 0.0150 0.1052 0.2381 0.0554 0.0747 0.1037 0.2381 1.3468 0.0051 0.0000 0.0611 0.0000 0.2381 0.0554 0.0747
219
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1823 0.5000 1.0000 1.0000 0.5353 0.3884 0.8177 1.0000 0.7256 0.1473 0.0001 0.3435 0.0000 1.0000 0.5353 0.3884
402-AH 0.0011 0.0330 0.2000 1.0000 1.0000 0.4820 0.4517 0.9670 0.9989 0.9371 0.1980 0.0375 0.4376 0.0011 1.0000 0.4820 0.4517
403-AH 0.0013 0.0622 0.2500 0.7000 1.0000 0.4018 0.3717 0.6378 0.9987 0.9251 0.1794 0.0258 0.3228 0.0013 1.0000 0.4018 0.3717
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.5000 0.8000 1.0000 1.0000 0.6745 0.3890 0.5000 1.0000 0.5767 0.1337 0.0001 0.3276 0.0000 1.0000 0.6745 0.3890
406-AH 0.0000 0.0224 0.1579 0.4250 1.0000 0.2874 0.3289 0.4026 1.0000 1.1445 0.0769 0.0002 0.2623 0.0000 1.0000 0.2874 0.3289
407-AH 0.0000 0.0457 0.6667 1.0000 1.0000 0.5280 0.4206 0.9543 1.0000 0.7964 0.1958 0.0004 0.3961 0.0000 1.0000 0.5280 0.4206
408-AH 0.0012 0.2121 0.4286 0.7500 1.0000 0.5034 0.3417 0.5379 0.9988 0.6788 0.3119 0.0506 0.2908 0.0012 1.0000 0.5034 0.3417
409-AH 0.0058 0.5000 0.6667 1.0000 1.0000 0.6563 0.3071 0.5000 0.9942 0.4678 0.4914 0.1176 0.2551 0.0058 1.0000 0.6563 0.3071
410-AH 0.0031 0.4833 1.0000 1.0000 1.0000 0.7344 0.3530 0.5167 0.9969 0.4807 0.5231 0.0922 0.3176 0.0031 1.0000 0.7344 0.3530
411-AH 0.0000 0.0365 0.0816 0.1053 1.0000 0.0877 0.1215 0.0687 1.0000 1.3849 0.0419 0.0002 0.0537 0.0000 0.1429 0.0689 0.0415
412-AH 0.0000 0.0155 0.0522 0.1750 1.0000 0.2120 0.3304 0.1595 1.0000 1.5584 0.0390 0.0001 0.2506 0.0000 0.3333 0.0571 0.0672
413-AH 0.0000 0.0390 0.3333 1.0000 1.0000 0.4912 0.4305 0.9610 1.0000 0.8763 0.1115 0.0002 0.3985 0.0000 1.0000 0.4912 0.4305
414-AH 0.0000 0.0475 1.0000 1.0000 1.0000 0.5579 0.4618 0.9525 1.0000 0.8278 0.1267 0.0001 0.4481 0.0000 1.0000 0.5579 0.4618
415-AH 0.0031 0.0125 0.1111 0.7000 1.0000 0.3290 0.4076 0.6875 0.9969 1.2388 0.0875 0.0174 0.3562 0.0031 1.0000 0.3290 0.4076
416-AH 0.0000 0.5625 1.0000 1.0000 1.0000 0.7873 0.3308 0.4375 1.0000 0.4202 0.4606 0.0004 0.2687 0.0000 1.0000 0.7873 0.3308
417-AH 0.0000 0.0549 0.2333 0.5000 1.0000 0.3471 0.3423 0.4451 1.0000 0.9863 0.0737 0.0001 0.2839 0.0000 1.0000 0.3471 0.3423
418-AH 0.0000 0.5000 1.0000 1.0000 1.0000 0.7457 0.4055 0.5000 1.0000 0.5438 0.1587 0.0001 0.3399 0.0000 1.0000 0.7457 0.4055
419-AH 0.0000 0.0370 0.3333 1.0000 1.0000 0.4229 0.4098 0.9630 1.0000 0.9691 0.0743 0.0001 0.3719 0.0000 1.0000 0.4229 0.4098
420-AH 0.0000 0.0267 0.1538 0.3977 1.0000 0.3040 0.3556 0.3710 1.0000 1.1698 0.0801 0.0002 0.2858 0.0000 0.8750 0.1805 0.2154
421-AH 0.0000 0.0126 1.0000 1.0000 1.0000 0.6741 0.4690 0.9874 1.0000 0.6957 0.0959 0.0001 0.4375 0.0000 1.0000 0.6741 0.4690
422-AH 0.0114 0.0420 0.1562 0.6364 1.0000 0.3783 0.3857 0.5944 0.9886 1.0194 0.1656 0.0600 0.3366 0.0114 1.0000 0.3783 0.3857
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0015 0.0083 0.0375 1.0000 0.1035 0.2459 0.0360 1.0000 2.3762 0.0045 0.0001 0.1514 0.0000 0.0833 0.0114 0.0183
425-AH 0.0000 0.0408 0.2500 0.5000 1.0000 0.3325 0.3614 0.4592 1.0000 1.0868 0.1093 0.0004 0.2945 0.0000 1.0000 0.3325 0.3614
426-AH 0.0021 0.3000 0.5789 1.0000 1.0000 0.6096 0.3740 0.7000 0.9979 0.6135 0.3940 0.0831 0.3291 0.0021 1.0000 0.6096 0.3740
427-AH 0.0000 0.0334 0.1667 0.3958 1.0000 0.2787 0.3182 0.3624 1.0000 1.1418 0.0337 0.0001 0.2442 0.0000 0.6667 0.1772 0.1759
428-AH 0.0000 0.0278 0.0714 0.3333 1.0000 0.2295 0.2962 0.3056 1.0000 1.2909 0.0857 0.0007 0.2235 0.0000 0.5000 0.1478 0.1628
429-AH 0.0000 0.1405 0.2632 1.0000 1.0000 0.4375 0.3764 0.8595 1.0000 0.8604 0.1969 0.0004 0.3307 0.0000 1.0000 0.4375 0.3764
430-AH 0.0000 0.0318 0.3636 1.0000 1.0000 0.5295 0.4497 0.9682 1.0000 0.8491 0.0933 0.0001 0.4329 0.0000 1.0000 0.5295 0.4497
431-AH 0.0000 0.0294 0.0606 1.0000 1.0000 0.3793 0.4448 0.9706 1.0000 1.1725 0.0948 0.0007 0.4140 0.0000 1.0000 0.3793 0.4448
432-AH 0.0000 0.0114 0.3333 0.5000 1.0000 0.3612 0.3744 0.4886 1.0000 1.0365 0.0682 0.0002 0.3080 0.0000 1.0000 0.3612 0.3744
433-AH 0.0053 0.9010 1.0000 1.0000 1.0000 0.8508 0.2765 0.0990 0.9947 0.3250 0.7165 0.2176 0.2092 0.9010 1.0000 0.9871 0.0324
434-AH 0.0119 0.8836 1.0000 1.0000 1.0000 0.8223 0.3524 0.1164 0.9881 0.4286 0.5704 0.1632 0.2660 0.7500 1.0000 0.9850 0.0519
435-AH 0.0070 0.4253 1.0000 1.0000 1.0000 0.7315 0.3791 0.5747 0.9930 0.5183 0.4919 0.1315 0.3325 0.0070 1.0000 0.7315 0.3791
436-AH 0.0024 0.1250 0.3571 1.0000 1.0000 0.4728 0.3920 0.8750 0.9976 0.8290 0.2147 0.0324 0.3416 0.0024 1.0000 0.4728 0.3920
437-AH 0.0000 0.2000 0.5686 1.0000 1.0000 0.5524 0.3745 0.8000 1.0000 0.6781 0.2115 0.0002 0.3336 0.0000 1.0000 0.5524 0.3745
438-AH 0.0035 0.1809 0.4000 0.5000 1.0000 0.4196 0.2794 0.3191 0.9965 0.6659 0.2964 0.0912 0.2138 0.0035 0.7143 0.3379 0.1852
439-AH 0.0000 0.0222 0.2500 0.7500 1.0000 0.3873 0.3913 0.7278 1.0000 1.0103 0.0797 0.0001 0.3383 0.0000 1.0000 0.3873 0.3913
440-AH 0.0000 0.0101 0.1600 0.7500 1.0000 0.3413 0.3892 0.7399 1.0000 1.1404 0.0603 0.0002 0.3364 0.0000 1.0000 0.3413 0.3892
441-AH 0.0000 0.0345 0.1667 0.7625 1.0000 0.3572 0.3994 0.7280 1.0000 1.1183 0.0587 0.0001 0.3535 0.0000 1.0000 0.3572 0.3994
442-AH 0.0000 1.0000 1.0000 1.0000 1.0000 0.8337 0.3494 0.0000 1.0000 0.4191 0.4138 0.0002 0.2688 1.0000 1.0000 1.0000 0.0000
443-AH 0.0000 0.0139 0.5714 1.0000 1.0000 0.5225 0.4098 0.9861 1.0000 0.7844 0.1009 0.0001 0.3719 0.0000 1.0000 0.5225 0.4098
444-AH 0.0090 0.3068 0.5000 1.0000 1.0000 0.5682 0.3317 0.6932 0.9910 0.5838 0.4344 0.2183 0.2835 0.0090 1.0000 0.5682 0.3317
445-AH 0.0000 0.0351 1.0000 1.0000 1.0000 0.6286 0.4397 0.9649 1.0000 0.6995 0.1065 0.0001 0.4056 0.0000 1.0000 0.6286 0.4397
446-AH 0.0000 0.0320 0.5333 1.0000 1.0000 0.5176 0.4383 0.9680 1.0000 0.8468 0.1647 0.0007 0.4079 0.0000 1.0000 0.5176 0.4383
447-AH 0.0000 0.0000 0.4444 1.0000 1.0000 0.4784 0.4774 1.0000 1.0000 0.9980 0.0157 0.0000 0.4575 0.0000 1.0000 0.4784 0.4774
448-AH 0.0000 0.1398 0.3333 1.0000 1.0000 0.5004 0.4150 0.8602 1.0000 0.8293 0.2026 0.0004 0.3833 0.0000 1.0000 0.5004 0.4150
449-AH 0.0021 0.1188 0.6667 1.0000 1.0000 0.6024 0.4229 0.8812 0.9979 0.7021 0.3404 0.0763 0.3966 0.0021 1.0000 0.6024 0.4229
450-AH 0.0000 0.0073 0.0227 0.0592 1.0000 0.0891 0.1793 0.0519 1.0000 2.0126 0.0188 0.0002 0.1070 0.0000 0.1364 0.0258 0.0296
220
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1823 0.5000 1.0000 1.0000 0.5353 0.3884 0.8177 1.0000 0.7256 0.1473 0.0001 0.3435 0.0000 1.0000 0.5353 0.3884
402-AH 0.0000 0.0320 0.1000 1.0000 1.0000 0.4130 0.4416 0.9680 1.0000 1.0692 0.1142 0.0004 0.4176 0.0000 1.0000 0.4130 0.4416
403-AH 0.0000 0.0374 0.1216 0.2339 0.8889 0.1748 0.1815 0.1965 0.8889 1.0387 0.0452 0.0001 0.1343 0.0000 0.5000 0.1442 0.1289
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.3333 0.6667 0.7500 1.0000 0.5421 0.3391 0.4167 1.0000 0.6256 0.0636 0.0000 0.2881 0.0000 1.0000 0.5421 0.3391
406-AH 0.0000 0.0157 0.1273 0.2077 1.0000 0.2058 0.2534 0.1920 1.0000 1.2310 0.0415 0.0001 0.1950 0.0000 0.3750 0.0927 0.0930
407-AH 0.0000 0.0188 0.5000 0.8000 1.0000 0.4725 0.3934 0.7812 1.0000 0.8326 0.1466 0.0002 0.3712 0.0000 1.0000 0.4725 0.3934
408-AH 0.0000 0.2121 0.4118 0.6667 1.0000 0.4547 0.2984 0.4545 1.0000 0.6563 0.2715 0.0007 0.2455 0.0000 1.0000 0.4547 0.2984
409-AH 0.0058 0.4263 0.6667 0.9000 1.0000 0.6213 0.2992 0.4737 0.9942 0.4816 0.4643 0.1149 0.2490 0.0058 1.0000 0.6213 0.2992
410-AH 0.0000 0.3081 0.7273 1.0000 1.0000 0.6325 0.3444 0.6919 1.0000 0.5446 0.3997 0.0007 0.3060 0.0000 1.0000 0.6325 0.3444
411-AH 0.0000 0.0365 0.0816 0.1053 1.0000 0.0877 0.1215 0.0687 1.0000 1.3849 0.0419 0.0002 0.0537 0.0000 0.1429 0.0689 0.0415
412-AH 0.0000 0.0147 0.0323 0.0690 0.6000 0.0737 0.1168 0.0543 0.6000 1.5851 0.0184 0.0001 0.0737 0.0000 0.1429 0.0357 0.0329
413-AH 0.0000 0.0390 0.3333 0.6875 1.0000 0.4165 0.3763 0.6485 1.0000 0.9034 0.0532 0.0001 0.3299 0.0000 1.0000 0.4165 0.3763
414-AH 0.0000 0.0475 1.0000 1.0000 1.0000 0.5579 0.4618 0.9525 1.0000 0.8278 0.1267 0.0001 0.4481 0.0000 1.0000 0.5579 0.4618
415-AH 0.0000 0.0062 0.0510 0.3758 0.8889 0.1967 0.2880 0.3696 0.8889 1.4636 0.0100 0.0000 0.2350 0.0000 0.8889 0.1967 0.2880
416-AH 0.0000 0.5464 0.8000 1.0000 1.0000 0.6967 0.3167 0.4536 1.0000 0.4545 0.3687 0.0002 0.2518 0.0000 1.0000 0.6967 0.3167
417-AH 0.0000 0.0349 0.1016 0.1875 0.8667 0.1489 0.1867 0.1526 0.8667 1.2538 0.0226 0.0001 0.1259 0.0000 0.4000 0.1076 0.1011
418-AH 0.0000 0.3023 0.7143 1.0000 1.0000 0.6102 0.3808 0.6977 1.0000 0.6240 0.0981 0.0001 0.3224 0.0000 1.0000 0.6102 0.3808
419-AH 0.0000 0.0370 0.2667 0.7680 1.0000 0.3959 0.3884 0.7309 1.0000 0.9810 0.0702 0.0001 0.3502 0.0000 1.0000 0.3959 0.3884
420-AH 0.0000 0.0173 0.1000 0.3021 1.0000 0.2562 0.3281 0.2848 1.0000 1.2806 0.0323 0.0001 0.2539 0.0000 0.4167 0.1153 0.1246
421-AH 0.0000 0.0111 1.0000 1.0000 1.0000 0.6507 0.4636 0.9889 1.0000 0.7125 0.0766 0.0001 0.4342 0.0000 1.0000 0.6507 0.4636
422-AH 0.0000 0.0248 0.1024 0.2857 0.5455 0.1667 0.1717 0.2609 0.5455 1.0298 0.0215 0.0001 0.1452 0.0000 0.5455 0.1667 0.1717
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0015 0.0083 0.0375 1.0000 0.1035 0.2459 0.0360 1.0000 2.3762 0.0045 0.0001 0.1514 0.0000 0.0833 0.0114 0.0183
425-AH 0.0000 0.0147 0.0952 0.3333 0.8333 0.1833 0.2107 0.3186 0.8333 1.1495 0.0371 0.0001 0.1756 0.0000 0.8000 0.1743 0.1975
426-AH 0.0000 0.0715 0.3208 0.4517 0.9167 0.3104 0.2428 0.3802 0.9167 0.7822 0.0683 0.0001 0.1865 0.0000 0.9167 0.3104 0.2428
427-AH 0.0000 0.0253 0.1667 0.3958 1.0000 0.2618 0.3027 0.3705 1.0000 1.1564 0.0298 0.0001 0.2343 0.0000 0.6667 0.1835 0.1912
428-AH 0.0000 0.0232 0.0526 0.1250 1.0000 0.1065 0.1656 0.1018 1.0000 1.5540 0.0436 0.0004 0.0986 0.0000 0.2000 0.0598 0.0506
429-AH 0.0000 0.0256 0.1707 0.3188 0.8889 0.2507 0.2661 0.2932 0.8889 1.0615 0.0708 0.0001 0.2106 0.0000 0.7500 0.2056 0.2140
430-AH 0.0000 0.0172 0.3488 1.0000 1.0000 0.4730 0.4297 0.9828 1.0000 0.9083 0.0437 0.0001 0.4028 0.0000 1.0000 0.4730 0.4297
431-AH 0.0000 0.0249 0.0606 0.6667 1.0000 0.3078 0.3936 0.6417 1.0000 1.2788 0.0604 0.0002 0.3403 0.0000 1.0000 0.3078 0.3936
432-AH 0.0000 0.0067 0.3158 0.3931 0.8000 0.2330 0.2117 0.3864 0.8000 0.9083 0.0217 0.0000 0.1962 0.0000 0.8000 0.2330 0.2117
433-AH 0.0000 0.4532 0.8529 0.9196 1.0000 0.6843 0.3098 0.4664 1.0000 0.4527 0.4378 0.0004 0.2708 0.0000 1.0000 0.6843 0.3098
434-AH 0.0000 0.1596 0.8679 1.0000 1.0000 0.6283 0.4132 0.8404 1.0000 0.6576 0.1393 0.0001 0.3836 0.0000 1.0000 0.6283 0.4132
435-AH 0.0000 0.1843 0.7778 0.9480 1.0000 0.5938 0.3846 0.7637 1.0000 0.6478 0.1650 0.0001 0.3502 0.0000 1.0000 0.5938 0.3846
436-AH 0.0000 0.0499 0.2292 0.3636 0.5333 0.2181 0.1661 0.3138 0.5333 0.7613 0.0472 0.0001 0.1506 0.0000 0.5333 0.2181 0.1661
437-AH 0.0000 0.1878 0.4000 0.7167 1.0000 0.4486 0.3158 0.5288 1.0000 0.7041 0.1384 0.0001 0.2746 0.0000 1.0000 0.4486 0.3158
438-AH 0.0000 0.1713 0.3333 0.4871 0.8000 0.3217 0.1822 0.3158 0.8000 0.5664 0.2213 0.0007 0.1478 0.0000 0.8000 0.3217 0.1822
439-AH 0.0000 0.0000 0.0800 0.1741 0.3636 0.0941 0.0922 0.1741 0.3636 0.9794 0.0035 0.0000 0.0832 0.0000 0.3636 0.0941 0.0922
440-AH 0.0000 0.0101 0.1600 0.4464 1.0000 0.2678 0.3030 0.4363 1.0000 1.1315 0.0433 0.0001 0.2481 0.0000 1.0000 0.2678 0.3030
441-AH 0.0000 0.0345 0.1667 0.7625 1.0000 0.3572 0.3994 0.7280 1.0000 1.1183 0.0587 0.0001 0.3535 0.0000 1.0000 0.3572 0.3994
442-AH 0.0000 0.7292 1.0000 1.0000 1.0000 0.7950 0.3642 0.2708 1.0000 0.4581 0.3562 0.0002 0.2978 0.5000 1.0000 0.9721 0.0964
443-AH 0.0000 0.0052 0.4706 0.8220 1.0000 0.4444 0.3774 0.8168 1.0000 0.8492 0.0298 0.0000 0.3498 0.0000 1.0000 0.4444 0.3774
444-AH 0.0067 0.1356 0.2955 0.6063 1.0000 0.3794 0.2969 0.4706 0.9933 0.7827 0.2496 0.0981 0.2476 0.0067 1.0000 0.3794 0.2969
445-AH 0.0000 0.0351 1.0000 1.0000 1.0000 0.6286 0.4397 0.9649 1.0000 0.6995 0.1065 0.0001 0.4056 0.0000 1.0000 0.6286 0.4397
446-AH 0.0000 0.0305 0.3125 0.5333 1.0000 0.3265 0.3034 0.5028 1.0000 0.9293 0.0948 0.0002 0.2576 0.0000 1.0000 0.3265 0.3034
447-AH 0.0000 0.0000 0.4444 1.0000 1.0000 0.4784 0.4774 1.0000 1.0000 0.9980 0.0157 0.0000 0.4575 0.0000 1.0000 0.4784 0.4774
448-AH 0.0000 0.1398 0.3333 1.0000 1.0000 0.5004 0.4150 0.8602 1.0000 0.8293 0.2026 0.0004 0.3833 0.0000 1.0000 0.5004 0.4150
449-AH 0.0000 0.0804 0.4375 0.6811 0.9167 0.4074 0.3154 0.6007 0.9167 0.7741 0.2108 0.0007 0.2928 0.0000 0.9167 0.4074 0.3154
450-AH 0.0000 0.0000 0.0072 0.0536 0.2927 0.0562 0.0981 0.0536 0.2927 1.7459 0.0010 0.0000 0.0729 0.0000 0.1154 0.0144 0.0248
221
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1250 0.2105 0.6667 1.0000 0.3735 0.3055 0.5417 1.0000 0.8181 0.0733 0.0001 0.2743 0.0000 1.0000 0.3735 0.3055
402-AH 0.0000 0.0312 0.0826 0.8947 1.0000 0.3726 0.4161 0.8635 1.0000 1.1169 0.0634 0.0001 0.3890 0.0000 1.0000 0.3726 0.4161
403-AH 0.0000 0.0266 0.0735 0.1671 0.4667 0.1110 0.1150 0.1405 0.4667 1.0361 0.0187 0.0001 0.0899 0.0000 0.2500 0.0914 0.0828
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.1062 0.5455 0.6667 1.0000 0.4518 0.3221 0.5605 1.0000 0.7129 0.0501 0.0000 0.2821 0.0000 1.0000 0.4518 0.3221
406-AH 0.0000 0.0113 0.0820 0.1543 0.7273 0.1331 0.1748 0.1430 0.7273 1.3134 0.0206 0.0001 0.1196 0.0000 0.2857 0.0778 0.0746
407-AH 0.0000 0.0173 0.2963 0.7500 1.0000 0.4259 0.3675 0.7327 1.0000 0.8628 0.1315 0.0002 0.3424 0.0000 1.0000 0.4259 0.3675
408-AH 0.0000 0.2112 0.3636 0.5714 0.8000 0.3736 0.2146 0.3603 0.8000 0.5743 0.2349 0.0007 0.1757 0.0000 0.8000 0.3736 0.2146
409-AH 0.0000 0.3938 0.5556 0.7500 1.0000 0.5377 0.2555 0.3562 1.0000 0.4752 0.3402 0.0004 0.2077 0.0000 1.0000 0.5377 0.2555
410-AH 0.0000 0.2722 0.7174 0.9002 1.0000 0.6048 0.3322 0.6281 1.0000 0.5492 0.3208 0.0002 0.2973 0.0000 1.0000 0.6048 0.3322
411-AH 0.0000 0.0259 0.0735 0.1009 0.2000 0.0655 0.0434 0.0749 0.2000 0.6624 0.0321 0.0002 0.0382 0.0000 0.2000 0.0655 0.0434
412-AH 0.0000 0.0082 0.0196 0.0398 0.1875 0.0345 0.0414 0.0316 0.1875 1.1989 0.0051 0.0000 0.0315 0.0000 0.0778 0.0187 0.0189
413-AH 0.0000 0.0390 0.3077 0.4286 0.7500 0.2781 0.2249 0.3896 0.7500 0.8085 0.0335 0.0000 0.1918 0.0000 0.7500 0.2781 0.2249
414-AH 0.0000 0.0475 1.0000 1.0000 1.0000 0.5579 0.4618 0.9525 1.0000 0.8278 0.1267 0.0001 0.4481 0.0000 1.0000 0.5579 0.4618
415-AH 0.0000 0.0000 0.0253 0.3061 0.7273 0.1666 0.2501 0.3061 0.7273 1.5015 0.0019 0.0000 0.2062 0.0000 0.7273 0.1666 0.2501
416-AH 0.0000 0.5286 0.7692 0.8000 1.0000 0.6323 0.2953 0.2714 1.0000 0.4670 0.3031 0.0002 0.2392 0.1905 1.0000 0.7173 0.2001
417-AH 0.0000 0.0262 0.0615 0.1373 0.7917 0.1100 0.1516 0.1110 0.7917 1.3773 0.0124 0.0000 0.0977 0.0000 0.3014 0.0764 0.0768
418-AH 0.0000 0.3023 0.6667 0.7769 1.0000 0.5649 0.3544 0.4747 1.0000 0.6273 0.0791 0.0001 0.2963 0.0000 1.0000 0.5649 0.3544
419-AH 0.0000 0.0220 0.1290 0.7680 1.0000 0.3534 0.3591 0.7460 1.0000 1.0160 0.0420 0.0001 0.3258 0.0000 1.0000 0.3534 0.3591
420-AH 0.0000 0.0131 0.0824 0.2917 1.0000 0.2174 0.2809 0.2786 1.0000 1.2918 0.0210 0.0001 0.2174 0.0000 0.6667 0.1325 0.1724
421-AH 0.0000 0.0111 1.0000 1.0000 1.0000 0.6202 0.4548 0.9889 1.0000 0.7334 0.0680 0.0001 0.4255 0.0000 1.0000 0.6202 0.4548
422-AH 0.0000 0.0000 0.0607 0.0861 0.4038 0.0703 0.0802 0.0861 0.4038 1.1396 0.0054 0.0000 0.0545 0.0000 0.2000 0.0563 0.0537
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0015 0.0083 0.0375 1.0000 0.1035 0.2459 0.0360 1.0000 2.3762 0.0045 0.0001 0.1514 0.0000 0.0833 0.0114 0.0183
425-AH 0.0000 0.0083 0.0873 0.1922 0.5333 0.1177 0.1348 0.1839 0.5333 1.1451 0.0109 0.0000 0.1069 0.0000 0.4286 0.1065 0.1183
426-AH 0.0000 0.0715 0.2047 0.3320 0.4343 0.2063 0.1396 0.2605 0.4343 0.6765 0.0371 0.0001 0.1219 0.0000 0.4343 0.2063 0.1396
427-AH 0.0000 0.0080 0.1667 0.3725 1.0000 0.2160 0.2431 0.3645 1.0000 1.1254 0.0199 0.0001 0.1935 0.0000 0.7143 0.1939 0.2067
428-AH 0.0000 0.0097 0.0282 0.0808 0.6000 0.0659 0.1044 0.0711 0.6000 1.5859 0.0135 0.0001 0.0644 0.0000 0.1875 0.0441 0.0474
429-AH 0.0000 0.0169 0.1053 0.2245 0.6818 0.1609 0.1785 0.2076 0.6818 1.1097 0.0255 0.0001 0.1322 0.0000 0.5217 0.1336 0.1409
430-AH 0.0000 0.0065 0.3488 0.9318 1.0000 0.4484 0.4153 0.9253 1.0000 0.9262 0.0283 0.0000 0.3827 0.0000 1.0000 0.4484 0.4153
431-AH 0.0000 0.0077 0.0588 0.4583 1.0000 0.2661 0.3595 0.4506 1.0000 1.3510 0.0179 0.0000 0.3017 0.0000 1.0000 0.2661 0.3595
432-AH 0.0000 0.0062 0.3158 0.3915 0.6250 0.2259 0.2019 0.3853 0.6250 0.8941 0.0210 0.0000 0.1910 0.0000 0.6250 0.2259 0.2019
433-AH 0.0000 0.3953 0.7969 0.8945 0.9811 0.6366 0.3086 0.4991 0.9811 0.4847 0.2528 0.0001 0.2671 0.0000 0.9811 0.6366 0.3086
434-AH 0.0000 0.1378 0.8182 1.0000 1.0000 0.6052 0.4171 0.8622 1.0000 0.6892 0.0941 0.0001 0.3858 0.0000 1.0000 0.6052 0.4171
435-AH 0.0000 0.1560 0.7059 0.9444 1.0000 0.5747 0.3857 0.7884 1.0000 0.6711 0.1251 0.0001 0.3477 0.0000 1.0000 0.5747 0.3857
436-AH 0.0000 0.0441 0.1111 0.2636 0.4894 0.1667 0.1479 0.2195 0.4894 0.8871 0.0244 0.0001 0.1276 0.0000 0.4894 0.1667 0.1479
437-AH 0.0000 0.1796 0.3617 0.6158 1.0000 0.4063 0.3006 0.4362 1.0000 0.7398 0.0916 0.0001 0.2555 0.0000 1.0000 0.4063 0.3006
438-AH 0.0000 0.1436 0.2400 0.3233 0.6000 0.2429 0.1245 0.1797 0.6000 0.5127 0.1623 0.0004 0.0993 0.0000 0.5000 0.2379 0.1179
439-AH 0.0000 0.0000 0.0480 0.1224 0.2394 0.0609 0.0636 0.1224 0.2394 1.0445 0.0021 0.0000 0.0564 0.0000 0.2394 0.0609 0.0636
440-AH 0.0000 0.0082 0.1429 0.3077 1.0000 0.2334 0.2754 0.2995 1.0000 1.1801 0.0261 0.0001 0.2173 0.0000 0.6923 0.1914 0.2175
441-AH 0.0000 0.0169 0.0909 0.2857 1.0000 0.2471 0.3288 0.2688 1.0000 1.3306 0.0376 0.0001 0.2540 0.0000 0.6667 0.1169 0.1497
442-AH 0.0000 0.2825 0.8333 1.0000 1.0000 0.7031 0.3723 0.7175 1.0000 0.5296 0.2786 0.0001 0.3218 0.0000 1.0000 0.7031 0.3723
443-AH 0.0000 0.0000 0.4091 0.7680 0.9167 0.4140 0.3672 0.7680 0.9167 0.8870 0.0245 0.0000 0.3417 0.0000 0.9167 0.4140 0.3672
444-AH 0.0000 0.0868 0.2609 0.5114 1.0000 0.3163 0.2587 0.4245 1.0000 0.8178 0.1829 0.0007 0.2114 0.0000 1.0000 0.3163 0.2587
445-AH 0.0000 0.0351 1.0000 1.0000 1.0000 0.6286 0.4397 0.9649 1.0000 0.6995 0.1065 0.0001 0.4056 0.0000 1.0000 0.6286 0.4397
446-AH 0.0000 0.0305 0.2727 0.5333 1.0000 0.3078 0.2819 0.5028 1.0000 0.9159 0.0842 0.0001 0.2449 0.0000 1.0000 0.3078 0.2819
447-AH 0.0000 0.0000 0.4444 1.0000 1.0000 0.4491 0.4564 1.0000 1.0000 1.0163 0.0124 0.0000 0.4264 0.0000 1.0000 0.4491 0.4564
448-AH 0.0000 0.1398 0.3333 1.0000 1.0000 0.5004 0.4150 0.8602 1.0000 0.8293 0.2026 0.0004 0.3833 0.0000 1.0000 0.5004 0.4150
449-AH 0.0000 0.0538 0.3714 0.6700 0.8667 0.3751 0.3126 0.6162 0.8667 0.8333 0.1815 0.0007 0.2919 0.0000 0.8667 0.3751 0.3126
450-AH 0.0000 0.0000 0.0000 0.0404 0.2927 0.0457 0.0919 0.0404 0.2927 2.0117 0.0002 0.0000 0.0657 0.0000 0.0848 0.0072 0.0175
222
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1250 0.2105 0.6667 1.0000 0.3735 0.3055 0.5417 1.0000 0.8181 0.0733 0.0001 0.2743 0.0000 1.0000 0.3735 0.3055
402-AH 0.0000 0.0312 0.0796 0.6271 0.9524 0.2991 0.3400 0.5958 0.9524 1.1368 0.0332 0.0001 0.3153 0.0000 0.9524 0.2991 0.3400
403-AH 0.0000 0.0000 0.0543 0.1307 0.3582 0.0795 0.0840 0.1307 0.3582 1.0571 0.0064 0.0000 0.0674 0.0000 0.3231 0.0756 0.0778
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0315 0.4706 0.6364 0.8750 0.3669 0.2872 0.6049 0.8750 0.7829 0.0363 0.0000 0.2644 0.0000 0.8750 0.3669 0.2872
406-AH 0.0000 0.0000 0.0476 0.1134 0.7273 0.1103 0.1673 0.1134 0.7273 1.5169 0.0073 0.0000 0.1097 0.0000 0.2800 0.0572 0.0612
407-AH 0.0000 0.0173 0.2963 0.7375 1.0000 0.4032 0.3583 0.7202 1.0000 0.8885 0.1220 0.0002 0.3272 0.0000 1.0000 0.4032 0.3583
408-AH 0.0000 0.1618 0.3611 0.5000 0.6667 0.3329 0.1942 0.3382 0.6667 0.5833 0.2086 0.0007 0.1626 0.0000 0.6667 0.3329 0.1942
409-AH 0.0000 0.3429 0.4667 0.6818 1.0000 0.4901 0.2544 0.3389 1.0000 0.5190 0.3034 0.0004 0.2068 0.0000 1.0000 0.4901 0.2544
410-AH 0.0000 0.2526 0.7174 0.8904 1.0000 0.5880 0.3287 0.6377 1.0000 0.5589 0.3107 0.0002 0.2942 0.0000 1.0000 0.5880 0.3287
411-AH 0.0000 0.0259 0.0714 0.0968 0.2000 0.0633 0.0428 0.0709 0.2000 0.6769 0.0241 0.0001 0.0372 0.0000 0.2000 0.0633 0.0428
412-AH 0.0000 0.0000 0.0160 0.0333 0.1587 0.0261 0.0328 0.0333 0.1587 1.2551 0.0021 0.0000 0.0243 0.0000 0.0670 0.0178 0.0200
413-AH 0.0000 0.0000 0.2500 0.3491 0.5455 0.2201 0.1719 0.3491 0.5455 0.7811 0.0180 0.0000 0.1458 0.0000 0.5455 0.2201 0.1719
414-AH 0.0000 0.0352 0.5000 1.0000 1.0000 0.4702 0.4210 0.9648 1.0000 0.8954 0.1019 0.0001 0.3775 0.0000 1.0000 0.4702 0.4210
415-AH 0.0000 0.0000 0.0000 0.1902 0.5897 0.1219 0.1886 0.1902 0.5897 1.5476 0.0011 0.0000 0.1491 0.0000 0.4314 0.0672 0.1100
416-AH 0.0000 0.4762 0.6818 0.7734 0.9375 0.5849 0.2897 0.2972 0.9375 0.4954 0.2493 0.0001 0.2375 0.0340 0.9375 0.6369 0.2411
417-AH 0.0000 0.0000 0.0320 0.0773 0.5179 0.0682 0.1056 0.0773 0.5179 1.5481 0.0011 0.0000 0.0729 0.0000 0.1923 0.0361 0.0488
418-AH 0.0000 0.2463 0.5833 0.7175 1.0000 0.4856 0.3195 0.4712 1.0000 0.6579 0.0585 0.0000 0.2731 0.0000 1.0000 0.4856 0.3195
419-AH 0.0000 0.0169 0.1290 0.7647 1.0000 0.3453 0.3553 0.7478 1.0000 1.0290 0.0399 0.0001 0.3236 0.0000 1.0000 0.3453 0.3553
420-AH 0.0000 0.0000 0.0802 0.2917 0.8095 0.1953 0.2496 0.2917 0.8095 1.2782 0.0089 0.0000 0.1986 0.0000 0.7000 0.1613 0.2111
421-AH 0.0000 0.0109 0.8000 1.0000 1.0000 0.5653 0.4254 0.9891 1.0000 0.7525 0.0629 0.0001 0.3895 0.0000 1.0000 0.5653 0.4254
422-AH 0.0000 0.0000 0.0000 0.0461 0.2138 0.0303 0.0470 0.0461 0.2138 1.5523 0.0003 0.0000 0.0365 0.0000 0.1044 0.0220 0.0322
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0066 0.0188 0.5000 0.0487 0.1125 0.0188 0.5000 2.3105 0.0022 0.0000 0.0684 0.0000 0.0309 0.0064 0.0071
425-AH 0.0000 0.0000 0.0612 0.1605 0.3500 0.0848 0.0910 0.1605 0.3500 1.0731 0.0046 0.0000 0.0775 0.0000 0.3500 0.0848 0.0910
426-AH 0.0000 0.0000 0.1715 0.2414 0.3571 0.1519 0.1123 0.2414 0.3571 0.7396 0.0146 0.0000 0.0977 0.0000 0.3571 0.1519 0.1123
427-AH 0.0000 0.0063 0.1667 0.3684 1.0000 0.2049 0.2237 0.3621 1.0000 1.0921 0.0188 0.0001 0.1829 0.0000 0.7143 0.1938 0.2043
428-AH 0.0000 0.0082 0.0242 0.0703 0.4000 0.0523 0.0764 0.0621 0.4000 1.4608 0.0084 0.0001 0.0495 0.0000 0.1220 0.0346 0.0349
429-AH 0.0000 0.0000 0.0514 0.1559 0.6552 0.1211 0.1463 0.1559 0.6552 1.2079 0.0088 0.0000 0.1120 0.0000 0.3793 0.0900 0.1031
430-AH 0.0000 0.0000 0.2703 0.7692 1.0000 0.3889 0.3835 0.7692 1.0000 0.9862 0.0165 0.0000 0.3428 0.0000 1.0000 0.3889 0.3835
431-AH 0.0000 0.0046 0.0558 0.3251 1.0000 0.2417 0.3553 0.3205 1.0000 1.4701 0.0122 0.0000 0.2887 0.0000 0.6667 0.0896 0.1469
432-AH 0.0000 0.0000 0.0406 0.3881 0.6154 0.1875 0.1994 0.3881 0.6154 1.0634 0.0054 0.0000 0.1907 0.0000 0.6154 0.1875 0.1994
433-AH 0.0000 0.2919 0.6696 0.8246 0.9362 0.5677 0.3078 0.5327 0.9362 0.5421 0.1937 0.0001 0.2688 0.0000 0.9362 0.5677 0.3078
434-AH 0.0000 0.1378 0.8000 0.9744 1.0000 0.5861 0.4125 0.8366 1.0000 0.7039 0.0907 0.0001 0.3829 0.0000 1.0000 0.5861 0.4125
435-AH 0.0000 0.1038 0.6140 0.9169 1.0000 0.5382 0.3777 0.8132 1.0000 0.7018 0.0667 0.0001 0.3368 0.0000 1.0000 0.5382 0.3777
436-AH 0.0000 0.0329 0.0890 0.2449 0.4545 0.1429 0.1363 0.2120 0.4545 0.9534 0.0154 0.0000 0.1178 0.0000 0.4545 0.1429 0.1363
437-AH 0.0000 0.1796 0.3237 0.5482 1.0000 0.3780 0.2871 0.3686 1.0000 0.7595 0.0761 0.0001 0.2393 0.0000 1.0000 0.3780 0.2871
438-AH 0.0000 0.0895 0.1800 0.2778 0.5263 0.1888 0.1257 0.1883 0.5263 0.6658 0.0545 0.0001 0.1002 0.0000 0.5263 0.1888 0.1257
439-AH 0.0000 0.0000 0.0305 0.0908 0.2105 0.0460 0.0531 0.0908 0.2105 1.1554 0.0012 0.0000 0.0457 0.0000 0.2105 0.0460 0.0531
440-AH 0.0000 0.0073 0.1034 0.2400 0.6923 0.1626 0.1942 0.2327 0.6923 1.1944 0.0144 0.0000 0.1485 0.0000 0.5000 0.1254 0.1411
441-AH 0.0000 0.0122 0.0678 0.2031 1.0000 0.2125 0.3156 0.1909 1.0000 1.4848 0.0281 0.0001 0.2428 0.0000 0.3000 0.0667 0.0755
442-AH 0.0000 0.2569 0.8000 1.0000 1.0000 0.6413 0.3613 0.7431 1.0000 0.5633 0.2507 0.0001 0.3171 0.0000 1.0000 0.6413 0.3613
443-AH 0.0000 0.0000 0.3250 0.7222 0.8824 0.3839 0.3492 0.7222 0.8824 0.9094 0.0208 0.0000 0.3250 0.0000 0.8824 0.3839 0.3492
444-AH 0.0000 0.0712 0.2222 0.3393 0.8000 0.2413 0.1926 0.2681 0.8000 0.7982 0.1089 0.0002 0.1535 0.0000 0.6250 0.2336 0.1821
445-AH 0.0000 0.0228 0.4000 0.6667 1.0000 0.4156 0.3827 0.6438 1.0000 0.9209 0.0302 0.0000 0.3321 0.0000 1.0000 0.4156 0.3827
446-AH 0.0000 0.0305 0.1935 0.4667 0.8750 0.2758 0.2632 0.4361 0.8750 0.9544 0.0757 0.0001 0.2231 0.0000 0.8750 0.2758 0.2632
447-AH 0.0000 0.0000 0.4444 1.0000 1.0000 0.4491 0.4564 1.0000 1.0000 1.0163 0.0124 0.0000 0.4264 0.0000 1.0000 0.4491 0.4564
448-AH 0.0000 0.0513 0.2143 0.5000 1.0000 0.3351 0.3478 0.4487 1.0000 1.0379 0.1092 0.0002 0.2859 0.0000 1.0000 0.3351 0.3478
449-AH 0.0000 0.0380 0.2556 0.4773 0.8214 0.3080 0.2861 0.4393 0.8214 0.9288 0.0841 0.0001 0.2525 0.0000 0.8214 0.3080 0.2861
450-AH 0.0000 0.0000 0.0000 0.0000 0.2687 0.0390 0.0860 0.0000 0.2687 2.2077 0.0001 0.0000 0.0622 0.0000 0.0000 0.0000 0.0000
223
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0921 0.1429 0.3884 1.0000 0.2559 0.2579 0.2963 1.0000 1.0078 0.0465 0.0001 0.2094 0.0000 0.7500 0.2349 0.2284
402-AH 0.0000 0.0300 0.0616 0.5026 0.8333 0.2320 0.2704 0.4726 0.8333 1.1659 0.0207 0.0000 0.2411 0.0000 0.8333 0.2320 0.2704
403-AH 0.0000 0.0000 0.0380 0.1031 0.2523 0.0543 0.0596 0.1031 0.2523 1.0994 0.0020 0.0000 0.0500 0.0000 0.2523 0.0543 0.0596
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0200 0.2432 0.5455 0.8182 0.3020 0.2603 0.5254 0.8182 0.8617 0.0267 0.0000 0.2374 0.0000 0.8182 0.3020 0.2603
406-AH 0.0000 0.0000 0.0326 0.0747 0.4737 0.0635 0.0875 0.0747 0.4737 1.3775 0.0041 0.0000 0.0587 0.0000 0.1364 0.0369 0.0366
407-AH 0.0000 0.0170 0.2632 0.6719 0.9286 0.3464 0.3223 0.6548 0.9286 0.9304 0.0756 0.0001 0.2929 0.0000 0.9286 0.3464 0.3223
408-AH 0.0000 0.1194 0.3571 0.4337 0.6429 0.3079 0.1820 0.3143 0.6429 0.5910 0.1905 0.0007 0.1580 0.0000 0.6429 0.3079 0.1820
409-AH 0.0000 0.2756 0.4074 0.6500 0.9000 0.4362 0.2439 0.3744 0.9000 0.5591 0.2390 0.0002 0.2014 0.0000 0.9000 0.4362 0.2439
410-AH 0.0000 0.2492 0.6552 0.8371 0.9583 0.5685 0.3200 0.5879 0.9583 0.5628 0.2716 0.0002 0.2842 0.0000 0.9583 0.5685 0.3200
411-AH 0.0000 0.0258 0.0571 0.0930 0.1163 0.0579 0.0380 0.0672 0.1163 0.6556 0.0206 0.0001 0.0341 0.0000 0.1163 0.0579 0.0380
412-AH 0.0000 0.0000 0.0000 0.0310 0.1566 0.0208 0.0315 0.0310 0.1566 1.5153 0.0004 0.0000 0.0237 0.0000 0.0670 0.0137 0.0201
413-AH 0.0000 0.0000 0.2308 0.3233 0.5455 0.2024 0.1652 0.3233 0.5455 0.8165 0.0139 0.0000 0.1400 0.0000 0.5455 0.2024 0.1652
414-AH 0.0000 0.0352 0.5000 1.0000 1.0000 0.4702 0.4210 0.9648 1.0000 0.8954 0.1019 0.0001 0.3775 0.0000 1.0000 0.4702 0.4210
415-AH 0.0000 0.0000 0.0000 0.1503 0.5690 0.1009 0.1630 0.1503 0.5690 1.6148 0.0009 0.0000 0.1225 0.0000 0.3671 0.0566 0.0890
416-AH 0.0000 0.2716 0.6522 0.7368 0.9375 0.5168 0.2915 0.4652 0.9375 0.5641 0.2099 0.0001 0.2493 0.0000 0.9375 0.5168 0.2915
417-AH 0.0000 0.0000 0.0000 0.0748 0.3800 0.0555 0.0848 0.0748 0.3800 1.5277 0.0007 0.0000 0.0616 0.0000 0.1735 0.0314 0.0447
418-AH 0.0000 0.1989 0.5833 0.7068 1.0000 0.4774 0.3194 0.5080 1.0000 0.6691 0.0565 0.0000 0.2753 0.0000 1.0000 0.4774 0.3194
419-AH 0.0000 0.0148 0.1290 0.7059 1.0000 0.3135 0.3256 0.6910 1.0000 1.0387 0.0305 0.0001 0.2942 0.0000 1.0000 0.3135 0.3256
420-AH 0.0000 0.0000 0.0637 0.2451 0.7931 0.1693 0.2247 0.2451 0.7931 1.3268 0.0065 0.0000 0.1771 0.0000 0.5758 0.1221 0.1641
421-AH 0.0000 0.0098 0.4286 0.7708 1.0000 0.4170 0.3759 0.7611 1.0000 0.9015 0.0464 0.0001 0.3257 0.0000 1.0000 0.4170 0.3759
422-AH 0.0000 0.0000 0.0000 0.0000 0.0778 0.0093 0.0224 0.0000 0.0778 2.4234 0.0000 0.0000 0.0157 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0066 0.0188 0.5000 0.0487 0.1125 0.0188 0.5000 2.3105 0.0022 0.0000 0.0684 0.0000 0.0309 0.0064 0.0071
425-AH 0.0000 0.0000 0.0451 0.1274 0.2632 0.0705 0.0725 0.1274 0.2632 1.0284 0.0042 0.0000 0.0630 0.0000 0.2632 0.0705 0.0725
426-AH 0.0000 0.0000 0.1396 0.1842 0.2937 0.1169 0.0977 0.1842 0.2937 0.8358 0.0060 0.0000 0.0830 0.0000 0.2937 0.1169 0.0977
427-AH 0.0000 0.0000 0.1667 0.3365 0.6667 0.1774 0.1832 0.3365 0.6667 1.0326 0.0092 0.0000 0.1587 0.0000 0.6667 0.1774 0.1832
428-AH 0.0000 0.0056 0.0239 0.0507 0.3333 0.0390 0.0568 0.0451 0.3333 1.4570 0.0054 0.0000 0.0344 0.0000 0.0820 0.0263 0.0245
429-AH 0.0000 0.0000 0.0497 0.1455 0.4211 0.1026 0.1162 0.1455 0.4211 1.1327 0.0059 0.0000 0.0937 0.0000 0.3429 0.0855 0.0943
430-AH 0.0000 0.0000 0.2143 0.5979 1.0000 0.3188 0.3259 0.5979 1.0000 1.0225 0.0143 0.0000 0.2833 0.0000 1.0000 0.3188 0.3259
431-AH 0.0000 0.0000 0.0516 0.2184 1.0000 0.2227 0.3526 0.2184 1.0000 1.5835 0.0078 0.0000 0.2791 0.0000 0.3077 0.0497 0.0720
432-AH 0.0000 0.0000 0.0252 0.3783 0.5000 0.1774 0.1928 0.3783 0.5000 1.0868 0.0034 0.0000 0.1841 0.0000 0.5000 0.1774 0.1928
433-AH 0.0000 0.2368 0.5988 0.7826 0.8793 0.5110 0.3064 0.5458 0.8793 0.5995 0.1178 0.0001 0.2715 0.0000 0.8793 0.5110 0.3064
434-AH 0.0000 0.1378 0.7258 0.9587 1.0000 0.5650 0.4078 0.8209 1.0000 0.7219 0.0874 0.0001 0.3794 0.0000 1.0000 0.5650 0.4078
435-AH 0.0000 0.0528 0.4495 0.8923 1.0000 0.4864 0.3716 0.8396 1.0000 0.7640 0.0381 0.0000 0.3288 0.0000 1.0000 0.4864 0.3716
436-AH 0.0000 0.0000 0.0833 0.1858 0.4045 0.1183 0.1197 0.1858 0.4045 1.0119 0.0095 0.0000 0.1008 0.0000 0.4045 0.1183 0.1197
437-AH 0.0000 0.1793 0.2776 0.5404 0.9577 0.3550 0.2751 0.3611 0.9577 0.7748 0.0715 0.0001 0.2286 0.0000 0.9577 0.3550 0.2751
438-AH 0.0000 0.0881 0.1714 0.2360 0.4828 0.1728 0.1158 0.1479 0.4828 0.6703 0.0496 0.0001 0.0915 0.0000 0.4444 0.1684 0.1106
439-AH 0.0000 0.0000 0.0000 0.0722 0.1328 0.0340 0.0443 0.0722 0.1328 1.3009 0.0004 0.0000 0.0401 0.0000 0.1328 0.0340 0.0443
440-AH 0.0000 0.0000 0.0465 0.1840 0.6923 0.1227 0.1809 0.1840 0.6923 1.4740 0.0062 0.0000 0.1308 0.0000 0.4000 0.0771 0.0977
441-AH 0.0000 0.0072 0.0396 0.1111 1.0000 0.1677 0.2859 0.1039 1.0000 1.7047 0.0105 0.0000 0.2110 0.0000 0.2667 0.0392 0.0496
442-AH 0.0000 0.1931 0.6667 0.8333 1.0000 0.5569 0.3658 0.6402 1.0000 0.6568 0.1850 0.0001 0.3314 0.0000 1.0000 0.5569 0.3658
443-AH 0.0000 0.0000 0.2714 0.6456 0.8571 0.3496 0.3273 0.6456 0.8571 0.9364 0.0190 0.0000 0.3027 0.0000 0.8571 0.3496 0.3273
444-AH 0.0000 0.0683 0.1754 0.2997 0.6250 0.2080 0.1598 0.2314 0.6250 0.7686 0.0952 0.0002 0.1332 0.0000 0.6250 0.2080 0.1598
445-AH 0.0000 0.0228 0.4000 0.6667 1.0000 0.4156 0.3827 0.6438 1.0000 0.9209 0.0302 0.0000 0.3321 0.0000 1.0000 0.4156 0.3827
446-AH 0.0000 0.0224 0.1842 0.4021 0.8750 0.2574 0.2517 0.3797 0.8750 0.9779 0.0695 0.0001 0.2125 0.0000 0.8750 0.2574 0.2517
447-AH 0.0000 0.0000 0.4444 0.8571 1.0000 0.4272 0.4326 0.8571 1.0000 1.0126 0.0112 0.0000 0.4050 0.0000 1.0000 0.4272 0.4326
448-AH 0.0000 0.0513 0.2143 0.5000 1.0000 0.3351 0.3478 0.4487 1.0000 1.0379 0.1092 0.0002 0.2859 0.0000 1.0000 0.3351 0.3478
449-AH 0.0000 0.0333 0.2030 0.3334 0.8125 0.2517 0.2718 0.3001 0.8125 1.0799 0.0289 0.0001 0.2137 0.0000 0.7297 0.2015 0.2224
450-AH 0.0000 0.0000 0.0000 0.0000 0.1894 0.0286 0.0639 0.0000 0.1894 2.2351 0.0001 0.0000 0.0470 0.0000 0.0000 0.0000 0.0000
224
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0921 0.1429 0.3884 1.0000 0.2559 0.2579 0.2963 1.0000 1.0078 0.0465 0.0001 0.2094 0.0000 0.7500 0.2349 0.2284
402-AH 0.0000 0.0000 0.0504 0.3168 0.7209 0.1728 0.2162 0.3168 0.7209 1.2510 0.0080 0.0000 0.1829 0.0000 0.7209 0.1728 0.2162
403-AH 0.0000 0.0000 0.0000 0.0656 0.1759 0.0346 0.0446 0.0656 0.1759 1.2915 0.0005 0.0000 0.0388 0.0000 0.1250 0.0307 0.0388
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0000 0.2340 0.5217 0.7059 0.2678 0.2450 0.5217 0.7059 0.9150 0.0185 0.0000 0.2216 0.0000 0.7059 0.2678 0.2450
406-AH 0.0000 0.0000 0.0235 0.0503 0.2444 0.0425 0.0633 0.0503 0.2444 1.4912 0.0022 0.0000 0.0436 0.0000 0.0816 0.0219 0.0237
407-AH 0.0000 0.0167 0.1739 0.5050 0.9286 0.2946 0.2950 0.4883 0.9286 1.0016 0.0447 0.0001 0.2582 0.0000 0.9286 0.2946 0.2950
408-AH 0.0000 0.1071 0.3500 0.4337 0.6429 0.2966 0.1774 0.3266 0.6429 0.5983 0.1661 0.0004 0.1548 0.0000 0.6429 0.2966 0.1774
409-AH 0.0000 0.2202 0.3333 0.5813 0.8333 0.3674 0.2215 0.3611 0.8333 0.6029 0.1944 0.0002 0.1872 0.0000 0.8333 0.3674 0.2215
410-AH 0.0000 0.2402 0.6000 0.7949 0.9286 0.5311 0.3023 0.5547 0.9286 0.5692 0.2536 0.0002 0.2635 0.0000 0.9286 0.5311 0.3023
411-AH 0.0000 0.0232 0.0526 0.0809 0.1163 0.0521 0.0354 0.0577 0.1163 0.6806 0.0144 0.0001 0.0314 0.0000 0.1163 0.0521 0.0354
412-AH 0.0000 0.0000 0.0000 0.0270 0.1373 0.0161 0.0267 0.0270 0.1373 1.6590 0.0002 0.0000 0.0199 0.0000 0.0673 0.0124 0.0197
413-AH 0.0000 0.0000 0.1159 0.2356 0.5333 0.1457 0.1394 0.2356 0.5333 0.9574 0.0099 0.0000 0.1157 0.0000 0.5333 0.1457 0.1394
414-AH 0.0000 0.0352 0.5000 1.0000 1.0000 0.4702 0.4210 0.9648 1.0000 0.8954 0.1019 0.0001 0.3775 0.0000 1.0000 0.4702 0.4210
415-AH 0.0000 0.0000 0.0000 0.1301 0.5373 0.0811 0.1438 0.1301 0.5373 1.7719 0.0006 0.0000 0.0995 0.0000 0.2951 0.0476 0.0744
416-AH 0.0000 0.2331 0.5152 0.7319 0.8500 0.4695 0.2820 0.4988 0.8500 0.6006 0.1892 0.0001 0.2435 0.0000 0.8500 0.4695 0.2820
417-AH 0.0000 0.0000 0.0000 0.0544 0.3453 0.0384 0.0754 0.0544 0.3453 1.9606 0.0001 0.0000 0.0558 0.0000 0.1315 0.0149 0.0345
418-AH 0.0000 0.1966 0.5833 0.7000 1.0000 0.4609 0.3060 0.5034 1.0000 0.6639 0.0544 0.0000 0.2669 0.0000 1.0000 0.4609 0.3060
419-AH 0.0000 0.0000 0.1290 0.6878 0.9231 0.3020 0.3173 0.6878 0.9231 1.0507 0.0166 0.0000 0.2853 0.0000 0.9231 0.3020 0.3173
420-AH 0.0000 0.0000 0.0494 0.2451 0.7931 0.1464 0.2006 0.2451 0.7931 1.3703 0.0034 0.0000 0.1616 0.0000 0.6053 0.1288 0.1730
421-AH 0.0000 0.0072 0.4000 0.6875 1.0000 0.3737 0.3446 0.6803 1.0000 0.9222 0.0410 0.0001 0.2992 0.0000 1.0000 0.3737 0.3446
422-AH 0.0000 0.0000 0.0000 0.0000 0.0549 0.0008 0.0064 0.0000 0.0549 8.5440 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0039 0.0153 0.2727 0.0221 0.0486 0.0153 0.2727 2.2012 0.0006 0.0000 0.0293 0.0000 0.0309 0.0047 0.0069
425-AH 0.0000 0.0000 0.0332 0.1083 0.2530 0.0606 0.0676 0.1083 0.2530 1.1157 0.0017 0.0000 0.0587 0.0000 0.2530 0.0606 0.0676
426-AH 0.0000 0.0000 0.0000 0.1495 0.2616 0.0792 0.0854 0.1495 0.2616 1.0786 0.0012 0.0000 0.0803 0.0000 0.2616 0.0792 0.0854
427-AH 0.0000 0.0000 0.1667 0.2949 0.6667 0.1687 0.1770 0.2949 0.6667 1.0494 0.0055 0.0000 0.1554 0.0000 0.6667 0.1687 0.1770
428-AH 0.0000 0.0000 0.0150 0.0360 0.2308 0.0278 0.0416 0.0360 0.2308 1.4968 0.0023 0.0000 0.0259 0.0000 0.0706 0.0194 0.0198
429-AH 0.0000 0.0000 0.0398 0.1152 0.3371 0.0796 0.0876 0.1152 0.3371 1.0999 0.0046 0.0000 0.0716 0.0000 0.2564 0.0699 0.0752
430-AH 0.0000 0.0000 0.1270 0.4239 0.9412 0.2489 0.2627 0.4239 0.9412 1.0555 0.0114 0.0000 0.2277 0.0000 0.9412 0.2489 0.2627
431-AH 0.0000 0.0000 0.0410 0.1282 1.0000 0.2063 0.3468 0.1282 1.0000 1.6812 0.0053 0.0000 0.2688 0.0000 0.2245 0.0377 0.0513
432-AH 0.0000 0.0000 0.0252 0.3579 0.5000 0.1576 0.1805 0.3579 0.5000 1.1453 0.0028 0.0000 0.1726 0.0000 0.5000 0.1576 0.1805
433-AH 0.0000 0.0000 0.5684 0.7331 0.8418 0.4535 0.3248 0.7331 0.8418 0.7162 0.0324 0.0000 0.2932 0.0000 0.8418 0.4535 0.3248
434-AH 0.0000 0.0888 0.4912 0.9403 0.9855 0.5122 0.4027 0.8515 0.9855 0.7861 0.0763 0.0001 0.3758 0.0000 0.9855 0.5122 0.4027
435-AH 0.0000 0.0000 0.4000 0.8350 0.9531 0.4510 0.3615 0.8350 0.9531 0.8016 0.0277 0.0000 0.3204 0.0000 0.9531 0.4510 0.3615
436-AH 0.0000 0.0000 0.0635 0.1728 0.3509 0.0971 0.1103 0.1728 0.3509 1.1370 0.0022 0.0000 0.0949 0.0000 0.3509 0.0971 0.1103
437-AH 0.0000 0.1738 0.2353 0.5186 0.8866 0.3278 0.2630 0.3448 0.8866 0.8024 0.0464 0.0001 0.2187 0.0000 0.8866 0.3278 0.2630
438-AH 0.0000 0.0870 0.1569 0.2360 0.4688 0.1594 0.1121 0.1489 0.4688 0.7033 0.0373 0.0001 0.0882 0.0000 0.4286 0.1551 0.1067
439-AH 0.0000 0.0000 0.0000 0.0602 0.0796 0.0240 0.0321 0.0602 0.0796 1.3348 0.0003 0.0000 0.0303 0.0000 0.0796 0.0240 0.0321
440-AH 0.0000 0.0000 0.0426 0.1499 0.6923 0.1082 0.1710 0.1499 0.6923 1.5803 0.0050 0.0000 0.1197 0.0000 0.3103 0.0606 0.0784
441-AH 0.0000 0.0000 0.0299 0.0864 0.8750 0.1469 0.2659 0.0864 0.8750 1.8105 0.0040 0.0000 0.1932 0.0000 0.1786 0.0259 0.0354
442-AH 0.0000 0.1570 0.5000 0.7500 0.9000 0.4421 0.2938 0.5930 0.9000 0.6645 0.1482 0.0001 0.2568 0.0000 0.9000 0.4421 0.2938
443-AH 0.0000 0.0000 0.2386 0.5250 0.7857 0.2872 0.2766 0.5250 0.7857 0.9631 0.0160 0.0000 0.2564 0.0000 0.7857 0.2872 0.2766
444-AH 0.0000 0.0422 0.1429 0.2562 0.3415 0.1509 0.1073 0.2140 0.3415 0.7109 0.0632 0.0001 0.0925 0.0000 0.3415 0.1509 0.1073
445-AH 0.0000 0.0228 0.4000 0.6667 1.0000 0.4156 0.3827 0.6438 1.0000 0.9209 0.0302 0.0000 0.3321 0.0000 1.0000 0.4156 0.3827
446-AH 0.0000 0.0221 0.1304 0.3382 0.8750 0.2185 0.2478 0.3162 0.8750 1.1339 0.0530 0.0001 0.1973 0.0000 0.7273 0.1904 0.2110
447-AH 0.0000 0.0000 0.4444 0.8571 1.0000 0.4272 0.4326 0.8571 1.0000 1.0126 0.0112 0.0000 0.4050 0.0000 1.0000 0.4272 0.4326
448-AH 0.0000 0.0513 0.2143 0.5000 1.0000 0.3351 0.3478 0.4487 1.0000 1.0379 0.1092 0.0002 0.2859 0.0000 1.0000 0.3351 0.3478
449-AH 0.0000 0.0000 0.0933 0.2632 0.7500 0.2170 0.2559 0.2632 0.7500 1.1793 0.0083 0.0000 0.2017 0.0000 0.4789 0.1182 0.1345
450-AH 0.0000 0.0000 0.0000 0.0000 0.1623 0.0207 0.0485 0.0000 0.1623 2.3405 0.0001 0.0000 0.0340 0.0000 0.0000 0.0000 0.0000
225
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0516 0.0741 0.1740 0.8000 0.1327 0.1498 0.1223 0.8000 1.1286 0.0232 0.0001 0.1103 0.0000 0.3333 0.0873 0.0800
402-AH 0.0000 0.0000 0.0000 0.2138 0.6032 0.1218 0.1711 0.2138 0.6032 1.4044 0.0013 0.0000 0.1373 0.0000 0.5205 0.0948 0.1323
403-AH 0.0000 0.0000 0.0000 0.0498 0.1189 0.0248 0.0342 0.0498 0.1189 1.3770 0.0003 0.0000 0.0306 0.0000 0.1189 0.0248 0.0342
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0000 0.1818 0.3564 0.6818 0.2058 0.2137 0.3564 0.6818 1.0386 0.0125 0.0000 0.1802 0.0000 0.6818 0.2058 0.2137
406-AH 0.0000 0.0000 0.0149 0.0403 0.2131 0.0315 0.0481 0.0403 0.2131 1.5263 0.0010 0.0000 0.0332 0.0000 0.0737 0.0164 0.0201
407-AH 0.0000 0.0167 0.1538 0.4375 0.8750 0.2342 0.2396 0.4208 0.8750 1.0230 0.0310 0.0001 0.2081 0.0000 0.8750 0.2342 0.2396
408-AH 0.0000 0.0932 0.3250 0.4137 0.5000 0.2767 0.1689 0.3204 0.5000 0.6104 0.1155 0.0001 0.1499 0.0000 0.5000 0.2767 0.1689
409-AH 0.0000 0.1924 0.2791 0.5267 0.7059 0.3291 0.2129 0.3343 0.7059 0.6469 0.1385 0.0001 0.1751 0.0000 0.7059 0.3291 0.2129
410-AH 0.0000 0.1724 0.4833 0.7701 0.9091 0.4769 0.3159 0.5978 0.9091 0.6625 0.1898 0.0001 0.2823 0.0000 0.9091 0.4769 0.3159
411-AH 0.0000 0.0217 0.0403 0.0759 0.1091 0.0471 0.0333 0.0542 0.1091 0.7062 0.0131 0.0001 0.0294 0.0000 0.1091 0.0471 0.0333
412-AH 0.0000 0.0000 0.0000 0.0223 0.1084 0.0112 0.0210 0.0223 0.1084 1.8752 0.0001 0.0000 0.0163 0.0000 0.0514 0.0091 0.0166
413-AH 0.0000 0.0000 0.1011 0.1675 0.4737 0.1116 0.1066 0.1675 0.4737 0.9549 0.0076 0.0000 0.0837 0.0000 0.2727 0.1014 0.0885
414-AH 0.0000 0.0057 0.1429 0.4286 1.0000 0.2337 0.2728 0.4229 1.0000 1.1671 0.0216 0.0001 0.2357 0.0000 1.0000 0.2337 0.2728
415-AH 0.0000 0.0000 0.0000 0.0842 0.3929 0.0593 0.1076 0.0842 0.3929 1.8153 0.0003 0.0000 0.0765 0.0000 0.1561 0.0289 0.0496
416-AH 0.0000 0.1717 0.5000 0.7013 0.8000 0.4274 0.2714 0.5296 0.8000 0.6351 0.1526 0.0001 0.2394 0.0000 0.8000 0.4274 0.2714
417-AH 0.0000 0.0000 0.0000 0.0000 0.2923 0.0319 0.0666 0.0000 0.2923 2.0858 0.0001 0.0000 0.0490 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0527 0.4800 0.6429 0.8182 0.4163 0.2830 0.5902 0.8182 0.6797 0.0485 0.0000 0.2506 0.0000 0.8182 0.4163 0.2830
419-AH 0.0000 0.0000 0.1172 0.6700 0.8235 0.2847 0.3028 0.6700 0.8235 1.0633 0.0158 0.0000 0.2711 0.0000 0.8235 0.2847 0.3028
420-AH 0.0000 0.0000 0.0382 0.2105 0.6170 0.1176 0.1643 0.2105 0.6170 1.3978 0.0015 0.0000 0.1375 0.0000 0.4590 0.1043 0.1457
421-AH 0.0000 0.0000 0.1356 0.3553 1.0000 0.2461 0.2935 0.3553 1.0000 1.1927 0.0106 0.0000 0.2341 0.0000 0.8182 0.1967 0.2373
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0039 0.0153 0.2727 0.0221 0.0486 0.0153 0.2727 2.2012 0.0006 0.0000 0.0293 0.0000 0.0309 0.0047 0.0069
425-AH 0.0000 0.0000 0.0000 0.0916 0.2500 0.0511 0.0623 0.0916 0.2500 1.2179 0.0009 0.0000 0.0542 0.0000 0.1797 0.0484 0.0581
426-AH 0.0000 0.0000 0.0000 0.0000 0.2128 0.0379 0.0705 0.0000 0.2128 1.8602 0.0001 0.0000 0.0582 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0000 0.1639 0.2807 0.4545 0.1489 0.1532 0.2807 0.4545 1.0286 0.0038 0.0000 0.1388 0.0000 0.4545 0.1489 0.1532
428-AH 0.0000 0.0000 0.0117 0.0254 0.0854 0.0171 0.0209 0.0254 0.0854 1.2186 0.0010 0.0000 0.0162 0.0000 0.0588 0.0140 0.0165
429-AH 0.0000 0.0000 0.0369 0.1094 0.2553 0.0602 0.0712 0.1094 0.2553 1.1831 0.0014 0.0000 0.0604 0.0000 0.2553 0.0602 0.0712
430-AH 0.0000 0.0000 0.0805 0.2755 0.8636 0.1604 0.1883 0.2755 0.8636 1.1739 0.0067 0.0000 0.1522 0.0000 0.5429 0.1507 0.1700
431-AH 0.0000 0.0000 0.0400 0.1241 1.0000 0.1926 0.3374 0.1241 1.0000 1.7517 0.0036 0.0000 0.2583 0.0000 0.2553 0.0338 0.0516
432-AH 0.0000 0.0000 0.0252 0.3142 0.4186 0.1361 0.1646 0.3142 0.4186 1.2095 0.0021 0.0000 0.1551 0.0000 0.4186 0.1361 0.1646
433-AH 0.0000 0.0000 0.5185 0.6681 0.7990 0.4108 0.3146 0.6681 0.7990 0.7658 0.0159 0.0000 0.2875 0.0000 0.7990 0.4108 0.3146
434-AH 0.0000 0.0821 0.4096 0.9104 0.9855 0.4688 0.3886 0.8283 0.9855 0.8290 0.0541 0.0001 0.3633 0.0000 0.9855 0.4688 0.3886
435-AH 0.0000 0.0000 0.3770 0.7170 0.8974 0.3990 0.3241 0.7170 0.8974 0.8123 0.0251 0.0000 0.2804 0.0000 0.8974 0.3990 0.3241
436-AH 0.0000 0.0000 0.0522 0.1351 0.2701 0.0782 0.0924 0.1351 0.2701 1.1811 0.0014 0.0000 0.0792 0.0000 0.2701 0.0782 0.0924
437-AH 0.0000 0.1623 0.2255 0.5043 0.8655 0.3054 0.2506 0.3420 0.8655 0.8207 0.0387 0.0000 0.2085 0.0000 0.8655 0.3054 0.2506
438-AH 0.0000 0.0848 0.1275 0.2187 0.3830 0.1359 0.0933 0.1340 0.3830 0.6861 0.0328 0.0001 0.0762 0.0000 0.3830 0.1359 0.0933
439-AH 0.0000 0.0000 0.0000 0.0493 0.0664 0.0141 0.0233 0.0493 0.0664 1.6487 0.0001 0.0000 0.0205 0.0000 0.0664 0.0141 0.0233
440-AH 0.0000 0.0000 0.0223 0.1061 0.5000 0.0810 0.1287 0.1061 0.5000 1.5893 0.0036 0.0000 0.0939 0.0000 0.2264 0.0484 0.0672
441-AH 0.0000 0.0000 0.0217 0.0616 0.8750 0.1152 0.2312 0.0616 0.8750 2.0070 0.0031 0.0000 0.1520 0.0000 0.1463 0.0235 0.0335
442-AH 0.0000 0.0383 0.1698 0.3141 0.9000 0.1955 0.1832 0.2758 0.9000 0.9368 0.0480 0.0001 0.1494 0.0000 0.5714 0.1857 0.1641
443-AH 0.0000 0.0000 0.1733 0.4298 0.6429 0.2287 0.2320 0.4298 0.6429 1.0146 0.0070 0.0000 0.2143 0.0000 0.6429 0.2287 0.2320
444-AH 0.0000 0.0331 0.1333 0.1951 0.3333 0.1319 0.0965 0.1620 0.3333 0.7314 0.0538 0.0001 0.0815 0.0000 0.3333 0.1319 0.0965
445-AH 0.0000 0.0000 0.1765 0.5000 1.0000 0.2987 0.3612 0.5000 1.0000 1.2092 0.0117 0.0000 0.2985 0.0000 1.0000 0.2987 0.3612
446-AH 0.0000 0.0142 0.0748 0.1907 0.7273 0.1564 0.2041 0.1766 0.7273 1.3049 0.0158 0.0000 0.1598 0.0000 0.3810 0.0691 0.0786
447-AH 0.0000 0.0000 0.4444 0.8571 1.0000 0.3966 0.4046 0.8571 1.0000 1.0200 0.0100 0.0000 0.3779 0.0000 1.0000 0.3966 0.4046
448-AH 0.0000 0.0482 0.1538 0.3750 1.0000 0.2897 0.3419 0.3268 1.0000 1.1800 0.0719 0.0001 0.2686 0.0000 0.8000 0.1637 0.1756
449-AH 0.0000 0.0000 0.0668 0.2050 0.4815 0.1347 0.1582 0.2050 0.4815 1.1746 0.0029 0.0000 0.1306 0.0000 0.4815 0.1347 0.1582
450-AH 0.0000 0.0000 0.0000 0.0000 0.1173 0.0144 0.0350 0.0000 0.1173 2.4312 0.0000 0.0000 0.0241 0.0000 0.0000 0.0000 0.0000
226
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0083 0.0368 0.0779 0.2000 0.0476 0.0516 0.0696 0.2000 1.0852 0.0081 0.0001 0.0407 0.0000 0.1786 0.0434 0.0458
402-AH 0.0000 0.0000 0.0000 0.1699 0.4835 0.0845 0.1268 0.1699 0.4835 1.5015 0.0006 0.0000 0.1022 0.0000 0.2973 0.0632 0.0931
403-AH 0.0000 0.0000 0.0000 0.0000 0.0819 0.0057 0.0197 0.0000 0.0819 3.4376 0.0000 0.0000 0.0105 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0000 0.1000 0.2679 0.6818 0.1561 0.1767 0.2679 0.6818 1.1315 0.0100 0.0000 0.1457 0.0000 0.5769 0.1488 0.1665
406-AH 0.0000 0.0000 0.0000 0.0363 0.1630 0.0207 0.0321 0.0363 0.1630 1.5453 0.0004 0.0000 0.0236 0.0000 0.0725 0.0169 0.0227
407-AH 0.0000 0.0000 0.0746 0.3091 0.7500 0.1670 0.1886 0.3091 0.7500 1.1295 0.0089 0.0000 0.1502 0.0000 0.7500 0.1670 0.1886
408-AH 0.0000 0.0884 0.3171 0.4048 0.5000 0.2588 0.1648 0.3163 0.5000 0.6367 0.0773 0.0001 0.1469 0.0000 0.5000 0.2588 0.1648
409-AH 0.0000 0.1404 0.2344 0.4186 0.6364 0.2853 0.2001 0.2782 0.6364 0.7013 0.1032 0.0001 0.1685 0.0000 0.6364 0.2853 0.2001
410-AH 0.0000 0.1718 0.4304 0.7393 0.8947 0.4523 0.3072 0.5676 0.8947 0.6792 0.1597 0.0001 0.2774 0.0000 0.8947 0.4523 0.3072
411-AH 0.0000 0.0196 0.0347 0.0628 0.0959 0.0388 0.0291 0.0432 0.0959 0.7491 0.0101 0.0001 0.0241 0.0000 0.0959 0.0388 0.0291
412-AH 0.0000 0.0000 0.0000 0.0048 0.0495 0.0076 0.0141 0.0048 0.0495 1.8540 0.0001 0.0000 0.0115 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0780 0.1236 0.2292 0.0775 0.0681 0.1236 0.2292 0.8790 0.0045 0.0000 0.0579 0.0000 0.2292 0.0775 0.0681
414-AH 0.0000 0.0057 0.1429 0.4286 1.0000 0.2337 0.2728 0.4229 1.0000 1.1671 0.0216 0.0001 0.2357 0.0000 1.0000 0.2337 0.2728
415-AH 0.0000 0.0000 0.0000 0.0664 0.2751 0.0431 0.0776 0.0664 0.2751 1.8012 0.0002 0.0000 0.0578 0.0000 0.1433 0.0233 0.0411
416-AH 0.0000 0.1252 0.3750 0.6112 0.7742 0.3723 0.2582 0.4859 0.7742 0.6935 0.1058 0.0001 0.2156 0.0000 0.7742 0.3723 0.2582
417-AH 0.0000 0.0000 0.0000 0.0000 0.2769 0.0207 0.0563 0.0000 0.2769 2.7217 0.0000 0.0000 0.0357 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0527 0.4783 0.6190 0.7857 0.3951 0.2714 0.5664 0.7857 0.6868 0.0463 0.0000 0.2418 0.0000 0.7857 0.3951 0.2714
419-AH 0.0000 0.0000 0.0896 0.5263 0.8095 0.2443 0.2717 0.5263 0.8095 1.1123 0.0139 0.0000 0.2380 0.0000 0.8095 0.2443 0.2717
420-AH 0.0000 0.0000 0.0000 0.1351 0.3793 0.0808 0.1224 0.1351 0.3793 1.5154 0.0004 0.0000 0.1023 0.0000 0.3301 0.0604 0.0997
421-AH 0.0000 0.0000 0.0643 0.2647 1.0000 0.2074 0.2810 0.2647 1.0000 1.3549 0.0082 0.0000 0.2139 0.0000 0.6000 0.1169 0.1482
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0000 0.0121 0.2000 0.0134 0.0303 0.0121 0.2000 2.2635 0.0003 0.0000 0.0175 0.0000 0.0249 0.0043 0.0072
425-AH 0.0000 0.0000 0.0000 0.0781 0.1548 0.0394 0.0488 0.0781 0.1548 1.2368 0.0006 0.0000 0.0435 0.0000 0.1548 0.0394 0.0488
426-AH 0.0000 0.0000 0.0000 0.0000 0.1640 0.0065 0.0315 0.0000 0.1640 4.8661 0.0000 0.0000 0.0124 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0000 0.1546 0.2564 0.4286 0.1379 0.1431 0.2564 0.4286 1.0383 0.0027 0.0000 0.1315 0.0000 0.4286 0.1379 0.1431
428-AH 0.0000 0.0000 0.0000 0.0163 0.0650 0.0115 0.0155 0.0163 0.0650 1.3525 0.0004 0.0000 0.0117 0.0000 0.0338 0.0084 0.0105
429-AH 0.0000 0.0000 0.0000 0.0871 0.1556 0.0399 0.0493 0.0871 0.1556 1.2378 0.0005 0.0000 0.0448 0.0000 0.1556 0.0399 0.0493
430-AH 0.0000 0.0000 0.0571 0.1826 0.4231 0.0943 0.1090 0.1826 0.4231 1.1552 0.0033 0.0000 0.0911 0.0000 0.4231 0.0943 0.1090
431-AH 0.0000 0.0000 0.0342 0.0935 0.9375 0.1623 0.3076 0.0935 0.9375 1.8955 0.0023 0.0000 0.2240 0.0000 0.1333 0.0260 0.0352
432-AH 0.0000 0.0000 0.0000 0.2698 0.4186 0.1189 0.1566 0.2698 0.4186 1.3170 0.0009 0.0000 0.1416 0.0000 0.4186 0.1189 0.1566
433-AH 0.0000 0.0000 0.4665 0.6303 0.7317 0.3779 0.2976 0.6303 0.7317 0.7874 0.0131 0.0000 0.2727 0.0000 0.7317 0.3779 0.2976
434-AH 0.0000 0.0000 0.3498 0.8211 0.9643 0.4067 0.3761 0.8211 0.9643 0.9247 0.0099 0.0000 0.3430 0.0000 0.9643 0.4067 0.3761
435-AH 0.0000 0.0000 0.2787 0.5870 0.7387 0.3152 0.2636 0.5870 0.7387 0.8363 0.0186 0.0000 0.2294 0.0000 0.7387 0.3152 0.2636
436-AH 0.0000 0.0000 0.0000 0.1018 0.2534 0.0555 0.0768 0.1018 0.2534 1.3844 0.0004 0.0000 0.0669 0.0000 0.2534 0.0555 0.0768
437-AH 0.0000 0.1457 0.2091 0.4485 0.8095 0.2740 0.2293 0.3028 0.8095 0.8371 0.0313 0.0000 0.1898 0.0000 0.8095 0.2740 0.2293
438-AH 0.0000 0.0607 0.0902 0.1832 0.2593 0.1157 0.0814 0.1226 0.2593 0.7035 0.0257 0.0001 0.0697 0.0000 0.2593 0.1157 0.0814
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0132 0.0568 0.3939 0.0508 0.0814 0.0568 0.3939 1.6040 0.0013 0.0000 0.0576 0.0000 0.1413 0.0252 0.0373
441-AH 0.0000 0.0000 0.0107 0.0510 0.8750 0.0802 0.1868 0.0510 0.8750 2.3291 0.0019 0.0000 0.1055 0.0000 0.0972 0.0176 0.0246
442-AH 0.0000 0.0000 0.0288 0.1125 0.9000 0.0742 0.1215 0.1125 0.9000 1.6367 0.0038 0.0000 0.0737 0.0000 0.2727 0.0628 0.0723
443-AH 0.0000 0.0000 0.1546 0.3750 0.6200 0.1807 0.1830 0.3750 0.6200 1.0127 0.0036 0.0000 0.1711 0.0000 0.6200 0.1807 0.1830
444-AH 0.0000 0.0246 0.1053 0.1565 0.2727 0.1031 0.0819 0.1319 0.2727 0.7949 0.0131 0.0000 0.0682 0.0000 0.2727 0.1031 0.0819
445-AH 0.0000 0.0000 0.1765 0.5000 1.0000 0.2987 0.3612 0.5000 1.0000 1.2092 0.0117 0.0000 0.2985 0.0000 1.0000 0.2987 0.3612
446-AH 0.0000 0.0101 0.0498 0.1698 0.5294 0.1290 0.1759 0.1597 0.5294 1.3635 0.0109 0.0000 0.1376 0.0000 0.3600 0.0622 0.0800
447-AH 0.0000 0.0000 0.3333 0.8571 1.0000 0.3778 0.4035 0.8571 1.0000 1.0679 0.0056 0.0000 0.3731 0.0000 1.0000 0.3778 0.4035
448-AH 0.0000 0.0482 0.1538 0.3750 1.0000 0.2897 0.3419 0.3268 1.0000 1.1800 0.0719 0.0001 0.2686 0.0000 0.8000 0.1637 0.1756
449-AH 0.0000 0.0000 0.0000 0.1391 0.4128 0.0748 0.0971 0.1391 0.4128 1.2988 0.0010 0.0000 0.0805 0.0000 0.3026 0.0701 0.0891
450-AH 0.0000 0.0000 0.0000 0.0000 0.0979 0.0092 0.0284 0.0000 0.0979 3.0979 0.0000 0.0000 0.0166 0.0000 0.0000 0.0000 0.0000
227
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0083 0.0368 0.0779 0.2000 0.0476 0.0516 0.0696 0.2000 1.0852 0.0081 0.0001 0.0407 0.0000 0.1786 0.0434 0.0458
402-AH 0.0000 0.0000 0.0000 0.1147 0.3521 0.0557 0.0865 0.1147 0.3521 1.5535 0.0003 0.0000 0.0717 0.0000 0.2551 0.0480 0.0743
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0000 0.0321 0.1408 0.4857 0.1024 0.1371 0.1408 0.4857 1.3394 0.0031 0.0000 0.1088 0.0000 0.3519 0.0726 0.0976
406-AH 0.0000 0.0000 0.0000 0.0257 0.1349 0.0127 0.0238 0.0257 0.1349 1.8763 0.0002 0.0000 0.0167 0.0000 0.0572 0.0096 0.0148
407-AH 0.0000 0.0000 0.0725 0.1743 0.6552 0.1199 0.1472 0.1743 0.6552 1.2278 0.0052 0.0000 0.1100 0.0000 0.3684 0.0903 0.0995
408-AH 0.0000 0.0377 0.2329 0.3674 0.4839 0.2151 0.1548 0.3297 0.4839 0.7199 0.0490 0.0001 0.1373 0.0000 0.4839 0.2151 0.1548
409-AH 0.0000 0.0640 0.2105 0.3576 0.5714 0.2361 0.1904 0.2935 0.5714 0.8065 0.0643 0.0001 0.1566 0.0000 0.5714 0.2361 0.1904
410-AH 0.0000 0.1484 0.3918 0.6786 0.8444 0.4068 0.2812 0.5301 0.8444 0.6912 0.1294 0.0001 0.2553 0.0000 0.8444 0.4068 0.2812
411-AH 0.0000 0.0000 0.0231 0.0444 0.0952 0.0294 0.0285 0.0444 0.0952 0.9694 0.0033 0.0000 0.0233 0.0000 0.0952 0.0294 0.0285
412-AH 0.0000 0.0000 0.0000 0.0000 0.0344 0.0011 0.0055 0.0000 0.0344 4.9626 0.0000 0.0000 0.0021 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0642 0.1185 0.1967 0.0699 0.0652 0.1185 0.1967 0.9328 0.0041 0.0000 0.0569 0.0000 0.1967 0.0699 0.0652
414-AH 0.0000 0.0052 0.0323 0.1840 0.5714 0.1217 0.1560 0.1788 0.5714 1.2821 0.0116 0.0001 0.1225 0.0000 0.4444 0.0977 0.1226
415-AH 0.0000 0.0000 0.0000 0.0000 0.1588 0.0227 0.0480 0.0000 0.1588 2.1107 0.0001 0.0000 0.0361 0.0000 0.0000 0.0000 0.0000
416-AH 0.0000 0.1105 0.3068 0.4123 0.6744 0.2899 0.1959 0.3017 0.6744 0.6756 0.0862 0.0001 0.1624 0.0000 0.6744 0.2899 0.1959
417-AH 0.0000 0.0000 0.0000 0.0000 0.2413 0.0146 0.0457 0.0000 0.2413 3.1306 0.0000 0.0000 0.0260 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0299 0.4483 0.6190 0.6842 0.3486 0.2633 0.5892 0.6842 0.7552 0.0356 0.0000 0.2436 0.0000 0.6842 0.3486 0.2633
419-AH 0.0000 0.0000 0.0830 0.4370 0.6667 0.2117 0.2364 0.4370 0.6667 1.1165 0.0112 0.0000 0.2074 0.0000 0.6667 0.2117 0.2364
420-AH 0.0000 0.0000 0.0000 0.1131 0.3333 0.0614 0.0982 0.1131 0.3333 1.5984 0.0003 0.0000 0.0812 0.0000 0.2761 0.0501 0.0831
421-AH 0.0000 0.0000 0.0600 0.2277 0.9091 0.1825 0.2537 0.2277 0.9091 1.3897 0.0074 0.0000 0.1912 0.0000 0.5000 0.1002 0.1283
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0000 0.0121 0.2000 0.0134 0.0303 0.0121 0.2000 2.2635 0.0003 0.0000 0.0175 0.0000 0.0249 0.0043 0.0072
425-AH 0.0000 0.0000 0.0000 0.0521 0.1115 0.0244 0.0345 0.0521 0.1115 1.4104 0.0003 0.0000 0.0308 0.0000 0.1115 0.0244 0.0345
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0000 0.0544 0.2469 0.3939 0.1273 0.1366 0.2469 0.3939 1.0735 0.0020 0.0000 0.1257 0.0000 0.3939 0.1273 0.1366
428-AH 0.0000 0.0000 0.0000 0.0120 0.0533 0.0058 0.0106 0.0120 0.0533 1.8267 0.0001 0.0000 0.0083 0.0000 0.0279 0.0044 0.0080
429-AH 0.0000 0.0000 0.0000 0.0708 0.1165 0.0280 0.0403 0.0708 0.1165 1.4408 0.0002 0.0000 0.0368 0.0000 0.1165 0.0280 0.0403
430-AH 0.0000 0.0000 0.0000 0.0993 0.2551 0.0494 0.0719 0.0993 0.2551 1.4552 0.0004 0.0000 0.0605 0.0000 0.2294 0.0465 0.0681
431-AH 0.0000 0.0000 0.0261 0.0636 0.8571 0.1289 0.2549 0.0636 0.8571 1.9770 0.0015 0.0000 0.1805 0.0000 0.1032 0.0191 0.0260
432-AH 0.0000 0.0000 0.0000 0.2564 0.3962 0.1019 0.1486 0.2564 0.3962 1.4579 0.0005 0.0000 0.1307 0.0000 0.3962 0.1019 0.1486
433-AH 0.0000 0.0000 0.4331 0.5924 0.6962 0.3359 0.2835 0.5924 0.6962 0.8442 0.0082 0.0000 0.2638 0.0000 0.6962 0.3359 0.2835
434-AH 0.0000 0.0000 0.2784 0.7063 0.9500 0.3447 0.3466 0.7063 0.9500 1.0054 0.0068 0.0000 0.3119 0.0000 0.9500 0.3447 0.3466
435-AH 0.0000 0.0000 0.1676 0.4046 0.5542 0.2104 0.2011 0.4046 0.5542 0.9562 0.0066 0.0000 0.1763 0.0000 0.5542 0.2104 0.2011
436-AH 0.0000 0.0000 0.0000 0.0798 0.1829 0.0388 0.0579 0.0798 0.1829 1.4925 0.0002 0.0000 0.0510 0.0000 0.1829 0.0388 0.0579
437-AH 0.0000 0.0000 0.1847 0.3480 0.7128 0.2212 0.1969 0.3480 0.7128 0.8902 0.0163 0.0000 0.1597 0.0000 0.7128 0.2212 0.1969
438-AH 0.0000 0.0475 0.0865 0.1507 0.2087 0.0935 0.0646 0.1032 0.2087 0.6909 0.0194 0.0001 0.0553 0.0000 0.2087 0.0935 0.0646
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0415 0.2727 0.0344 0.0602 0.0415 0.2727 1.7505 0.0003 0.0000 0.0425 0.0000 0.0993 0.0197 0.0319
441-AH 0.0000 0.0000 0.0000 0.0290 0.3077 0.0242 0.0541 0.0290 0.3077 2.2348 0.0002 0.0000 0.0343 0.0000 0.0537 0.0060 0.0131
442-AH 0.0000 0.0000 0.0000 0.0000 0.6667 0.0104 0.0781 0.0000 0.6667 7.4928 0.0000 0.0000 0.0197 0.0000 0.0000 0.0000 0.0000
443-AH 0.0000 0.0000 0.0537 0.3076 0.4928 0.1474 0.1605 0.3076 0.4928 1.0891 0.0024 0.0000 0.1489 0.0000 0.4928 0.1474 0.1605
444-AH 0.0000 0.0000 0.0787 0.1213 0.2247 0.0828 0.0673 0.1213 0.2247 0.8130 0.0090 0.0000 0.0557 0.0000 0.2247 0.0828 0.0673
445-AH 0.0000 0.0000 0.0110 0.1905 0.5000 0.1040 0.1522 0.1905 0.5000 1.4635 0.0020 0.0000 0.1254 0.0000 0.4444 0.0810 0.1215
446-AH 0.0000 0.0000 0.0481 0.0938 0.5263 0.0986 0.1401 0.0938 0.5263 1.4208 0.0069 0.0000 0.1012 0.0000 0.2083 0.0421 0.0444
447-AH 0.0000 0.0000 0.3333 0.8571 1.0000 0.3778 0.4035 0.8571 1.0000 1.0679 0.0056 0.0000 0.3731 0.0000 1.0000 0.3778 0.4035
448-AH 0.0000 0.0185 0.0513 0.2390 0.8000 0.1778 0.2489 0.2205 0.8000 1.4002 0.0235 0.0001 0.1917 0.0000 0.3333 0.0753 0.0880
449-AH 0.0000 0.0000 0.0000 0.0000 0.2694 0.0219 0.0478 0.0000 0.2694 2.1808 0.0001 0.0000 0.0337 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0586 0.0056 0.0173 0.0000 0.0586 3.0919 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000
228
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0328 0.0952 0.0145 0.0214 0.0328 0.0952 1.4793 0.0003 0.0000 0.0179 0.0000 0.0750 0.0134 0.0193
402-AH 0.0000 0.0000 0.0000 0.0665 0.2489 0.0295 0.0541 0.0665 0.2489 1.8348 0.0001 0.0000 0.0428 0.0000 0.1614 0.0245 0.0450
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0000 0.0000 0.0706 0.3725 0.0583 0.0970 0.0706 0.3725 1.6647 0.0004 0.0000 0.0742 0.0000 0.1652 0.0226 0.0429
406-AH 0.0000 0.0000 0.0000 0.0000 0.0927 0.0062 0.0150 0.0000 0.0927 2.4006 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0613 0.5122 0.0549 0.1121 0.0613 0.5122 2.0419 0.0003 0.0000 0.0726 0.0000 0.1117 0.0213 0.0366
408-AH 0.0000 0.0330 0.1083 0.2237 0.4048 0.1244 0.1132 0.1907 0.4048 0.9105 0.0171 0.0000 0.0975 0.0000 0.4048 0.1244 0.1132
409-AH 0.0000 0.0294 0.0994 0.1731 0.3830 0.1148 0.0975 0.1436 0.3830 0.8492 0.0191 0.0001 0.0766 0.0000 0.3830 0.1148 0.0975
410-AH 0.0000 0.0915 0.2018 0.3737 0.5000 0.2340 0.1498 0.2822 0.5000 0.6402 0.0833 0.0001 0.1352 0.0000 0.5000 0.2340 0.1498
411-AH 0.0000 0.0000 0.0190 0.0303 0.0882 0.0235 0.0250 0.0303 0.0882 1.0619 0.0025 0.0000 0.0184 0.0000 0.0744 0.0181 0.0179
412-AH 0.0000 0.0000 0.0000 0.0000 0.0329 0.0005 0.0039 0.0000 0.0329 8.5440 0.0000 0.0000 0.0009 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0388 0.1051 0.1944 0.0563 0.0576 0.1051 0.1944 1.0230 0.0031 0.0000 0.0488 0.0000 0.1944 0.0563 0.0576
414-AH 0.0000 0.0052 0.0323 0.1840 0.5714 0.1217 0.1560 0.1788 0.5714 1.2821 0.0116 0.0001 0.1225 0.0000 0.4444 0.0977 0.1226
415-AH 0.0000 0.0000 0.0000 0.0000 0.1203 0.0104 0.0329 0.0000 0.1203 3.1449 0.0000 0.0000 0.0189 0.0000 0.0000 0.0000 0.0000
416-AH 0.0000 0.0562 0.2246 0.2876 0.6000 0.2050 0.1552 0.2314 0.6000 0.7570 0.0392 0.0001 0.1296 0.0000 0.6000 0.2050 0.1552
417-AH 0.0000 0.0000 0.0000 0.0000 0.1369 0.0050 0.0246 0.0000 0.1369 4.9468 0.0000 0.0000 0.0095 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0196 0.4375 0.6087 0.6842 0.3347 0.2667 0.5891 0.6842 0.7968 0.0299 0.0000 0.2504 0.0000 0.6842 0.3347 0.2667
419-AH 0.0000 0.0000 0.0758 0.3395 0.6176 0.1761 0.2174 0.3395 0.6176 1.2346 0.0082 0.0000 0.1872 0.0000 0.6176 0.1761 0.2174
420-AH 0.0000 0.0000 0.0000 0.0762 0.2857 0.0420 0.0747 0.0762 0.2857 1.7773 0.0002 0.0000 0.0587 0.0000 0.1736 0.0271 0.0511
421-AH 0.0000 0.0000 0.0571 0.1690 0.6875 0.1109 0.1502 0.1690 0.6875 1.3545 0.0037 0.0000 0.1118 0.0000 0.3929 0.0809 0.1015
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0000 0.0057 0.1429 0.0074 0.0224 0.0057 0.1429 3.0344 0.0001 0.0000 0.0109 0.0000 0.0127 0.0015 0.0033
425-AH 0.0000 0.0000 0.0000 0.0000 0.0798 0.0087 0.0216 0.0000 0.0798 2.4834 0.0000 0.0000 0.0148 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0000 0.0498 0.2259 0.3750 0.1176 0.1263 0.2259 0.3750 1.0736 0.0018 0.0000 0.1170 0.0000 0.3750 0.1176 0.1263
428-AH 0.0000 0.0000 0.0000 0.0000 0.0279 0.0026 0.0063 0.0000 0.0279 2.4229 0.0000 0.0000 0.0044 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.1015 0.0145 0.0307 0.0000 0.1015 2.1125 0.0001 0.0000 0.0235 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0346 0.1421 0.0196 0.0335 0.0346 0.1421 1.7134 0.0002 0.0000 0.0268 0.0000 0.0854 0.0132 0.0241
431-AH 0.0000 0.0000 0.0000 0.0290 0.8571 0.1025 0.2340 0.0290 0.8571 2.2842 0.0002 0.0000 0.1599 0.0000 0.0627 0.0059 0.0147
432-AH 0.0000 0.0000 0.0000 0.0490 0.2619 0.0461 0.0835 0.0490 0.2619 1.8108 0.0002 0.0000 0.0617 0.0000 0.1202 0.0132 0.0270
433-AH 0.0000 0.0000 0.3014 0.5215 0.5943 0.2701 0.2564 0.5215 0.5943 0.9494 0.0037 0.0000 0.2444 0.0000 0.5943 0.2701 0.2564
434-AH 0.0000 0.0000 0.0000 0.5319 0.9035 0.2553 0.2991 0.5319 0.9035 1.1719 0.0020 0.0000 0.2650 0.0000 0.9035 0.2553 0.2991
435-AH 0.0000 0.0000 0.1047 0.2400 0.3992 0.1127 0.1267 0.2400 0.3992 1.1239 0.0015 0.0000 0.1115 0.0000 0.3992 0.1127 0.1267
436-AH 0.0000 0.0000 0.0000 0.0000 0.1179 0.0183 0.0384 0.0000 0.1179 2.0938 0.0001 0.0000 0.0296 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.2622 0.6220 0.1357 0.1708 0.2622 0.6220 1.2585 0.0010 0.0000 0.1487 0.0000 0.6220 0.1357 0.1708
438-AH 0.0000 0.0208 0.0654 0.1392 0.1776 0.0740 0.0580 0.1183 0.1776 0.7842 0.0093 0.0000 0.0501 0.0000 0.1776 0.0740 0.0580
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0249 0.1181 0.0117 0.0215 0.0249 0.1181 1.8362 0.0001 0.0000 0.0160 0.0000 0.0568 0.0092 0.0153
441-AH 0.0000 0.0000 0.0000 0.0000 0.0891 0.0088 0.0203 0.0000 0.0891 2.3101 0.0001 0.0000 0.0137 0.0000 0.0000 0.0000 0.0000
442-AH 0.0000 0.0000 0.0000 0.0000 0.4231 0.0065 0.0496 0.0000 0.4231 7.5981 0.0000 0.0000 0.0125 0.0000 0.0000 0.0000 0.0000
443-AH 0.0000 0.0000 0.0387 0.2197 0.3248 0.0994 0.1167 0.2197 0.3248 1.1733 0.0014 0.0000 0.1069 0.0000 0.3248 0.0994 0.1167
444-AH 0.0000 0.0000 0.0409 0.0881 0.1586 0.0519 0.0494 0.0881 0.1586 0.9521 0.0037 0.0000 0.0420 0.0000 0.1586 0.0519 0.0494
445-AH 0.0000 0.0000 0.0110 0.1905 0.5000 0.1040 0.1522 0.1905 0.5000 1.4635 0.0020 0.0000 0.1254 0.0000 0.4444 0.0810 0.1215
446-AH 0.0000 0.0000 0.0375 0.0704 0.3438 0.0503 0.0618 0.0704 0.3438 1.2277 0.0028 0.0000 0.0449 0.0000 0.1571 0.0441 0.0483
447-AH 0.0000 0.0000 0.0230 0.8571 0.8571 0.3536 0.3900 0.8571 0.8571 1.1031 0.0029 0.0000 0.3666 0.0000 0.8571 0.3536 0.3900
448-AH 0.0000 0.0185 0.0513 0.2390 0.8000 0.1778 0.2489 0.2205 0.8000 1.4002 0.0235 0.0001 0.1917 0.0000 0.3333 0.0753 0.0880
449-AH 0.0000 0.0000 0.0000 0.0000 0.1841 0.0044 0.0242 0.0000 0.1841 5.4907 0.0000 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
229
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0328 0.0952 0.0145 0.0214 0.0328 0.0952 1.4793 0.0003 0.0000 0.0179 0.0000 0.0750 0.0134 0.0193
402-AH 0.0000 0.0000 0.0000 0.0000 0.0637 0.0009 0.0075 0.0000 0.0637 8.5440 0.0000 0.0000 0.0017 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0000 0.0238 0.0500 0.2708 1.0000 0.1619 0.2061 0.2470 1.0000 1.2734 0.0412 0.0002 0.1663 0.0000 0.5000 0.1502 0.1818
405-AH 0.0000 0.0000 0.0000 0.0059 0.1088 0.0155 0.0301 0.0059 0.1088 1.9453 0.0001 0.0000 0.0234 0.0000 0.0000 0.0000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0264 0.0004 0.0031 0.0000 0.0264 8.5440 0.0000 0.0000 0.0007 0.0000 0.0000 0.0000 0.0000
407-AH 0.0000 0.0000 0.0000 0.0366 0.2556 0.0279 0.0614 0.0366 0.2556 2.2041 0.0001 0.0000 0.0397 0.0000 0.0657 0.0091 0.0182
408-AH 0.0000 0.0000 0.0000 0.1698 0.2903 0.0763 0.0970 0.1698 0.2903 1.2709 0.0010 0.0000 0.0858 0.0000 0.2903 0.0763 0.0970
409-AH 0.0000 0.0000 0.0355 0.1166 0.3115 0.0658 0.0780 0.1166 0.3115 1.1853 0.0019 0.0000 0.0659 0.0000 0.2754 0.0624 0.0729
410-AH 0.0000 0.0000 0.1068 0.1746 0.2765 0.1020 0.0844 0.1746 0.2765 0.8283 0.0068 0.0000 0.0732 0.0000 0.2765 0.1020 0.0844
411-AH 0.0000 0.0000 0.0000 0.0215 0.0565 0.0122 0.0153 0.0215 0.0565 1.2579 0.0004 0.0000 0.0130 0.0000 0.0503 0.0116 0.0145
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.0298 0.0600 0.1923 0.0426 0.0501 0.0600 0.1923 1.1772 0.0022 0.0000 0.0396 0.0000 0.1500 0.0354 0.0413
414-AH 0.0000 0.0052 0.0323 0.1840 0.5714 0.1217 0.1560 0.1788 0.5714 1.2821 0.0116 0.0001 0.1225 0.0000 0.4444 0.0977 0.1226
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.0000 0.0000 0.0000 0.0724 0.3300 0.0619 0.0920 0.0724 0.3300 1.4853 0.0009 0.0000 0.0697 0.0000 0.1755 0.0277 0.0419
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.0000 0.0000 0.2745 0.5833 0.6667 0.3152 0.2595 0.5833 0.6667 0.8234 0.0226 0.0000 0.2450 0.0000 0.6667 0.3152 0.2595
419-AH 0.0000 0.0000 0.0263 0.2058 0.5897 0.1341 0.1955 0.2058 0.5897 1.4570 0.0017 0.0000 0.1630 0.0000 0.5111 0.1046 0.1675
420-AH 0.0000 0.0000 0.0000 0.0000 0.1322 0.0045 0.0203 0.0000 0.1322 4.5628 0.0000 0.0000 0.0084 0.0000 0.0000 0.0000 0.0000
421-AH 0.0000 0.0000 0.0302 0.1084 0.5455 0.0878 0.1329 0.1084 0.5455 1.5133 0.0018 0.0000 0.0973 0.0000 0.2553 0.0516 0.0709
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0074 0.0231 0.3333 0.0264 0.0599 0.0231 0.3333 2.2669 0.0015 0.0000 0.0321 0.0000 0.0556 0.0112 0.0149
424-AH 0.0000 0.0000 0.0000 0.0057 0.1429 0.0074 0.0224 0.0057 0.1429 3.0344 0.0001 0.0000 0.0109 0.0000 0.0127 0.0015 0.0033
425-AH 0.0000 0.0000 0.0000 0.0000 0.0543 0.0007 0.0063 0.0000 0.0543 8.5440 0.0000 0.0000 0.0015 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.0000 0.0000 0.0000 0.1940 0.3077 0.0909 0.1048 0.1940 0.3077 1.1530 0.0012 0.0000 0.0950 0.0000 0.3077 0.0909 0.1048
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0410 0.0025 0.0094 0.0000 0.0410 3.7252 0.0000 0.0000 0.0047 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0000 0.0000 0.6061 0.0527 0.1385 0.0000 0.6061 2.6267 0.0001 0.0000 0.0871 0.0000 0.0000 0.0000 0.0000
432-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
433-AH 0.0000 0.0000 0.0000 0.2894 0.4106 0.0879 0.1448 0.2894 0.4106 1.6476 0.0002 0.0000 0.1276 0.0000 0.4106 0.0879 0.1448
434-AH 0.0000 0.0000 0.0000 0.0000 0.3480 0.0437 0.0967 0.0000 0.3480 2.2132 0.0001 0.0000 0.0718 0.0000 0.0000 0.0000 0.0000
435-AH 0.0000 0.0000 0.0000 0.0000 0.1249 0.0017 0.0146 0.0000 0.1249 8.5440 0.0000 0.0000 0.0034 0.0000 0.0000 0.0000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0000 0.0000 0.0000 0.0000 0.2076 0.0081 0.0396 0.0000 0.2076 4.8697 0.0000 0.0000 0.0156 0.0000 0.0000 0.0000 0.0000
438-AH 0.0000 0.0000 0.0000 0.0486 0.1415 0.0314 0.0411 0.0486 0.1415 1.3096 0.0006 0.0000 0.0336 0.0000 0.1200 0.0270 0.0359
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0000 0.0000 0.0000 0.0000 0.0682 0.0049 0.0142 0.0000 0.0682 2.9196 0.0000 0.0000 0.0085 0.0000 0.0000 0.0000 0.0000
441-AH 0.0000 0.0000 0.0000 0.0000 0.0891 0.0088 0.0203 0.0000 0.0891 2.3101 0.0001 0.0000 0.0137 0.0000 0.0000 0.0000 0.0000
442-AH 0.0000 0.0000 0.0000 0.0000 0.0571 0.0013 0.0073 0.0000 0.0571 5.6209 0.0000 0.0000 0.0025 0.0000 0.0000 0.0000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0803 0.1654 0.0288 0.0461 0.0803 0.1654 1.5969 0.0002 0.0000 0.0403 0.0000 0.1654 0.0288 0.0461
444-AH 0.0000 0.0000 0.0000 0.0577 0.1106 0.0257 0.0344 0.0577 0.1106 1.3419 0.0003 0.0000 0.0309 0.0000 0.1106 0.0257 0.0344
445-AH 0.0000 0.0000 0.0110 0.1905 0.5000 0.1040 0.1522 0.1905 0.5000 1.4635 0.0020 0.0000 0.1254 0.0000 0.4444 0.0810 0.1215
446-AH 0.0000 0.0000 0.0175 0.0374 0.1250 0.0218 0.0286 0.0374 0.1250 1.3141 0.0008 0.0000 0.0216 0.0000 0.0839 0.0190 0.0234
447-AH 0.0000 0.0000 0.0230 0.8571 0.8571 0.3536 0.3900 0.8571 0.8571 1.1031 0.0029 0.0000 0.3666 0.0000 0.8571 0.3536 0.3900
448-AH 0.0000 0.0185 0.0513 0.2390 0.8000 0.1778 0.2489 0.2205 0.8000 1.4002 0.0235 0.0001 0.1917 0.0000 0.3333 0.0753 0.0880
449-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
450-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
230
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2630 0.2131 0.4000 0.8000 0.8103 0.0190 0.0000 0.1821 0.0000 0.8000 0.2630 0.2131
402-AH 0.0000 0.0000 0.2000 1.0000 1.0000 0.4082 0.4428 1.0000 1.0000 1.0846 0.0043 0.0000 0.4204 0.0000 1.0000 0.4082 0.4428
403-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2137 0.2632 0.4000 1.0000 1.2315 0.0021 0.0000 0.2160 0.0000 1.0000 0.2137 0.2632
404-AH 0.0000 0.0000 0.0000 0.2000 0.2000 0.0603 0.0924 0.2000 0.2000 1.5331 0.0002 0.0000 0.0842 0.0000 0.2000 0.0603 0.0924
405-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.4740 0.2991 0.4000 1.0000 0.6310 0.0589 0.0000 0.2540 0.0000 1.0000 0.4740 0.2991
406-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1534 0.2369 0.2000 0.8000 1.5443 0.0004 0.0000 0.1976 0.0000 0.4000 0.0623 0.1240
407-AH 0.0000 0.0000 0.4000 0.8000 1.0000 0.4082 0.3792 0.8000 1.0000 0.9290 0.0068 0.0000 0.3535 0.0000 1.0000 0.4082 0.3792
408-AH 0.0000 0.0000 0.4000 0.6000 0.8000 0.2849 0.2602 0.6000 0.8000 0.9131 0.0063 0.0000 0.2403 0.0000 0.8000 0.2849 0.2602
409-AH 0.0000 0.2000 0.4000 0.6000 1.0000 0.4630 0.2726 0.4000 1.0000 0.5887 0.1254 0.0001 0.2337 0.0000 1.0000 0.4630 0.2726
410-AH 0.0000 0.2000 0.6000 1.0000 1.0000 0.5671 0.3480 0.8000 1.0000 0.6137 0.1470 0.0001 0.2999 0.0000 1.0000 0.5671 0.3480
411-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0082 0.0400 0.0000 0.2000 4.8639 0.0000 0.0000 0.0158 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0500 0.6000 0.0630 0.1242 0.0500 0.6000 1.9705 0.0001 0.0000 0.0950 0.0000 0.0000 0.0000 0.0000
413-AH 0.0000 0.0000 0.2000 0.4000 0.6000 0.2247 0.2133 0.4000 0.6000 0.9494 0.0048 0.0000 0.1921 0.0000 0.6000 0.2247 0.2133
414-AH 0.0000 0.0000 0.4000 0.4000 0.6000 0.2493 0.2328 0.4000 0.6000 0.9338 0.0040 0.0000 0.2199 0.0000 0.6000 0.2493 0.2328
415-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1507 0.2724 0.2000 0.8000 1.8077 0.0003 0.0000 0.2064 0.0000 0.2000 0.0361 0.0775
416-AH 0.0000 0.3500 0.6000 0.8000 1.0000 0.5863 0.3388 0.4500 1.0000 0.5779 0.1353 0.0001 0.2759 0.0000 1.0000 0.5863 0.3388
417-AH 0.0000 0.0000 0.2000 0.2500 0.8000 0.1918 0.2391 0.2500 0.8000 1.2466 0.0025 0.0000 0.1786 0.0000 0.6000 0.1373 0.1603
418-AH 0.0000 0.2000 0.6000 0.6000 1.0000 0.4795 0.3087 0.4000 1.0000 0.6438 0.0522 0.0000 0.2604 0.0000 1.0000 0.4795 0.3087
419-AH 0.0000 0.0000 0.0000 0.6000 1.0000 0.2795 0.3379 0.6000 1.0000 1.2090 0.0021 0.0000 0.2985 0.0000 1.0000 0.2795 0.3379
420-AH 0.0000 0.0000 0.0000 0.2000 1.0000 0.1918 0.3374 0.2000 1.0000 1.7592 0.0003 0.0000 0.2627 0.0000 0.4000 0.0467 0.1127
421-AH 0.0000 0.0000 0.8000 0.8000 1.0000 0.5260 0.3965 0.8000 1.0000 0.7538 0.0189 0.0000 0.3631 0.0000 1.0000 0.5260 0.3965
422-AH 0.0000 0.0000 0.0000 0.4000 0.8000 0.1836 0.2303 0.4000 0.8000 1.2549 0.0012 0.0000 0.2012 0.0000 0.8000 0.1836 0.2303
423-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0110 0.0458 0.0000 0.2000 4.1821 0.0000 0.0000 0.0207 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0411 0.1052 0.0000 0.4000 2.5597 0.0000 0.0000 0.0698 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1507 0.2022 0.2000 0.8000 1.3416 0.0013 0.0000 0.1569 0.0000 0.4000 0.1045 0.1319
426-AH 0.0000 0.0000 0.4000 0.4500 1.0000 0.3562 0.3253 0.4500 1.0000 0.9134 0.0227 0.0000 0.2593 0.0000 1.0000 0.3562 0.3253
427-AH 0.0000 0.0000 0.0000 0.2000 1.0000 0.1260 0.2249 0.2000 1.0000 1.7842 0.0002 0.0000 0.1761 0.0000 0.4000 0.0746 0.1429
428-AH 0.0000 0.0000 0.0000 0.2000 0.6000 0.0932 0.1378 0.2000 0.6000 1.4790 0.0004 0.0000 0.1174 0.0000 0.4000 0.0861 0.1248
429-AH 0.0000 0.0000 0.2000 0.4000 1.0000 0.2411 0.3018 0.4000 1.0000 1.2517 0.0031 0.0000 0.2405 0.0000 1.0000 0.2411 0.3018
430-AH 0.0000 0.0000 0.2000 1.0000 1.0000 0.4164 0.4506 1.0000 1.0000 1.0821 0.0030 0.0000 0.4244 0.0000 1.0000 0.4164 0.4506
431-AH 0.0000 0.0000 0.0000 0.4000 1.0000 0.2329 0.3448 0.4000 1.0000 1.4807 0.0007 0.0000 0.2879 0.0000 1.0000 0.2329 0.3448
432-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1397 0.1876 0.2000 0.8000 1.3429 0.0008 0.0000 0.1608 0.0000 0.4000 0.1239 0.1634
433-AH 0.0000 0.5500 0.8000 1.0000 1.0000 0.6795 0.3068 0.4500 1.0000 0.4516 0.3123 0.0001 0.2538 0.0000 1.0000 0.6795 0.3068
434-AH 0.0000 0.4000 0.8000 1.0000 1.0000 0.6877 0.3741 0.6000 1.0000 0.5441 0.1226 0.0001 0.3248 0.0000 1.0000 0.6877 0.3741
435-AH 0.0000 0.2000 0.8000 0.8000 1.0000 0.5534 0.3659 0.6000 1.0000 0.6612 0.0574 0.0000 0.3276 0.0000 1.0000 0.5534 0.3659
436-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2411 0.2332 0.4000 0.8000 0.9674 0.0064 0.0000 0.2018 0.0000 0.8000 0.2411 0.2332
437-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3726 0.3656 0.8000 1.0000 0.9813 0.0119 0.0000 0.3214 0.0000 1.0000 0.3726 0.3656
438-AH 0.0000 0.0000 0.2000 0.2500 0.8000 0.1945 0.1885 0.2500 0.8000 0.9690 0.0072 0.0000 0.1386 0.0000 0.6000 0.1861 0.1755
439-AH 0.0000 0.0000 0.0000 0.4000 0.6000 0.1644 0.1953 0.4000 0.6000 1.1883 0.0013 0.0000 0.1756 0.0000 0.6000 0.1644 0.1953
440-AH 0.0000 0.0000 0.0000 0.2500 0.8000 0.1753 0.2448 0.2500 0.8000 1.3963 0.0010 0.0000 0.1970 0.0000 0.6000 0.1391 0.1979
441-AH 0.0000 0.0000 0.0000 0.2000 0.8000 0.1863 0.2694 0.2000 0.8000 1.4462 0.0010 0.0000 0.2093 0.0000 0.4000 0.0733 0.1163
442-AH 0.0000 0.4000 0.8000 0.8000 1.0000 0.6247 0.3332 0.4000 1.0000 0.5335 0.1461 0.0001 0.2785 0.0000 1.0000 0.6247 0.3332
443-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3726 0.3548 0.8000 1.0000 0.9523 0.0082 0.0000 0.3284 0.0000 1.0000 0.3726 0.3548
444-AH 0.0000 0.2000 0.4000 0.4000 1.0000 0.3397 0.2554 0.2000 1.0000 0.7516 0.0556 0.0001 0.2090 0.0000 0.6000 0.2719 0.1898
445-AH 0.0000 0.0000 0.4000 0.4000 0.6000 0.2959 0.2312 0.4000 0.6000 0.7814 0.0162 0.0000 0.2072 0.0000 0.6000 0.2959 0.2312
446-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2301 0.2487 0.4000 0.8000 1.0807 0.0053 0.0000 0.2002 0.0000 0.8000 0.2301 0.2487
447-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3479 0.3902 0.8000 1.0000 1.1214 0.0030 0.0000 0.3661 0.0000 1.0000 0.3479 0.3902
448-AH 0.0000 0.0000 0.2000 0.4000 0.8000 0.2384 0.2531 0.4000 0.8000 1.0619 0.0061 0.0000 0.2060 0.0000 0.8000 0.2384 0.2531
449-AH 0.0000 0.0000 0.4000 0.8000 1.0000 0.3918 0.3487 0.8000 1.0000 0.8901 0.0088 0.0000 0.3111 0.0000 1.0000 0.3918 0.3487
450-AH 0.0000 0.0000 0.0000 0.0000 0.4000 0.0110 0.0657 0.0000 0.4000 5.9994 0.0000 0.0000 0.0213 0.0000 0.0000 0.0000 0.0000
231
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1808 0.1330 0.2000 0.4000 0.7354 0.0234 0.0000 0.1125 0.0000 0.4000 0.1808 0.1330
402-AH 0.0000 0.0000 0.1000 0.9000 1.0000 0.3973 0.4435 0.9000 1.0000 1.1163 0.0051 0.0000 0.4188 0.0000 1.0000 0.3973 0.4435
403-AH 0.0000 0.0000 0.1000 0.3000 0.8000 0.1712 0.1845 0.3000 0.8000 1.0772 0.0063 0.0000 0.1493 0.0000 0.6000 0.1625 0.1699
404-AH 0.0000 0.0000 0.0000 0.1000 0.1000 0.0397 0.0493 0.1000 0.1000 1.2403 0.0004 0.0000 0.0479 0.0000 0.1000 0.0397 0.0493
405-AH 0.0000 0.3000 0.5000 0.6000 0.8000 0.4123 0.2494 0.3000 0.8000 0.6049 0.0534 0.0000 0.2105 0.0000 0.8000 0.4123 0.2494
406-AH 0.0000 0.0000 0.0000 0.2000 0.7000 0.1315 0.1817 0.2000 0.7000 1.3818 0.0012 0.0000 0.1464 0.0000 0.5000 0.1169 0.1612
407-AH 0.0000 0.0000 0.3000 0.7000 0.9000 0.3753 0.3341 0.7000 0.9000 0.8901 0.0123 0.0000 0.3093 0.0000 0.9000 0.3753 0.3341
408-AH 0.0000 0.0750 0.2000 0.4000 0.6000 0.2603 0.2039 0.3250 0.6000 0.7836 0.0237 0.0000 0.1789 0.0000 0.6000 0.2603 0.2039
409-AH 0.0000 0.3000 0.5000 0.6000 0.9000 0.4452 0.2375 0.3000 0.9000 0.5334 0.1411 0.0001 0.1916 0.0000 0.9000 0.4452 0.2375
410-AH 0.0000 0.2000 0.7000 0.9000 1.0000 0.5575 0.3427 0.7000 1.0000 0.6148 0.2018 0.0001 0.3119 0.0000 1.0000 0.5575 0.3427
411-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0096 0.0296 0.0000 0.1000 3.0918 0.0000 0.0000 0.0173 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0575 0.1026 0.1000 0.4000 1.7838 0.0002 0.0000 0.0772 0.0000 0.2000 0.0353 0.0617
413-AH 0.0000 0.0000 0.2000 0.3000 0.5000 0.1877 0.1649 0.3000 0.5000 0.8789 0.0063 0.0000 0.1460 0.0000 0.5000 0.1877 0.1649
414-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1685 0.1471 0.3000 0.4000 0.8729 0.0066 0.0000 0.1332 0.0000 0.4000 0.1685 0.1471
415-AH 0.0000 0.0000 0.0000 0.2500 0.8000 0.1699 0.2686 0.2500 0.8000 1.5812 0.0008 0.0000 0.2146 0.0000 0.5000 0.0923 0.1594
416-AH 0.0000 0.3750 0.7000 0.8000 0.9000 0.5712 0.2831 0.4250 0.9000 0.4956 0.2014 0.0001 0.2363 0.0000 0.9000 0.5712 0.2831
417-AH 0.0000 0.0000 0.2000 0.2000 0.8000 0.1685 0.2020 0.2000 0.8000 1.1988 0.0043 0.0000 0.1470 0.0000 0.4000 0.1194 0.1184
418-AH 0.0000 0.2750 0.5000 0.7000 0.8000 0.4205 0.2764 0.4250 0.8000 0.6572 0.0526 0.0000 0.2444 0.0000 0.8000 0.4205 0.2764
419-AH 0.0000 0.0000 0.1000 0.7000 1.0000 0.3000 0.3362 0.7000 1.0000 1.1208 0.0032 0.0000 0.3068 0.0000 1.0000 0.3000 0.3362
420-AH 0.0000 0.0000 0.1000 0.3000 1.0000 0.2055 0.3004 0.3000 1.0000 1.4620 0.0029 0.0000 0.2382 0.0000 0.7000 0.1231 0.1951
421-AH 0.0000 0.0000 0.4000 0.6000 0.9000 0.3644 0.2927 0.6000 0.9000 0.8032 0.0146 0.0000 0.2459 0.0000 0.9000 0.3644 0.2927
422-AH 0.0000 0.0000 0.1000 0.4000 0.7000 0.1904 0.2274 0.4000 0.7000 1.1943 0.0019 0.0000 0.2002 0.0000 0.7000 0.1904 0.2274
423-AH 0.0000 0.0000 0.0000 0.0000 0.1000 0.0055 0.0229 0.0000 0.1000 4.1821 0.0000 0.0000 0.0104 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0260 0.0602 0.0000 0.2000 2.3112 0.0001 0.0000 0.0428 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.1000 0.2000 0.5000 0.1274 0.1484 0.2000 0.5000 1.1647 0.0020 0.0000 0.1269 0.0000 0.5000 0.1274 0.1484
426-AH 0.0000 0.1000 0.3000 0.6000 1.0000 0.3616 0.3026 0.5000 1.0000 0.8367 0.0382 0.0000 0.2494 0.0000 1.0000 0.3616 0.3026
427-AH 0.0000 0.0000 0.1000 0.3000 0.6000 0.1425 0.1833 0.3000 0.6000 1.2864 0.0016 0.0000 0.1533 0.0000 0.6000 0.1425 0.1833
428-AH 0.0000 0.0000 0.0000 0.1000 0.4000 0.0644 0.0872 0.1000 0.4000 1.3543 0.0008 0.0000 0.0688 0.0000 0.2000 0.0493 0.0609
429-AH 0.0000 0.1000 0.1000 0.4000 0.8000 0.2096 0.2410 0.3000 0.8000 1.1501 0.0191 0.0000 0.2002 0.0000 0.8000 0.2096 0.2410
430-AH 0.0000 0.0000 0.2000 0.8000 1.0000 0.3904 0.4052 0.8000 1.0000 1.0380 0.0088 0.0000 0.3835 0.0000 1.0000 0.3904 0.4052
431-AH 0.0000 0.0000 0.0000 0.4000 1.0000 0.2301 0.3495 0.4000 1.0000 1.5186 0.0007 0.0000 0.2898 0.0000 1.0000 0.2301 0.3495
432-AH 0.0000 0.0000 0.1000 0.3000 0.6000 0.1438 0.1563 0.3000 0.6000 1.0869 0.0025 0.0000 0.1360 0.0000 0.6000 0.1438 0.1563
433-AH 0.0000 0.4000 0.8000 0.9000 1.0000 0.6562 0.3100 0.5000 1.0000 0.4725 0.3342 0.0002 0.2638 0.0000 1.0000 0.6562 0.3100
434-AH 0.0000 0.3750 0.8000 1.0000 1.0000 0.6603 0.3666 0.6250 1.0000 0.5552 0.1334 0.0001 0.3153 0.0000 1.0000 0.6603 0.3666
435-AH 0.0000 0.2000 0.8000 0.9000 1.0000 0.5562 0.3708 0.7000 1.0000 0.6667 0.0816 0.0001 0.3424 0.0000 1.0000 0.5562 0.3708
436-AH 0.0000 0.0000 0.2000 0.3000 0.6000 0.2096 0.1693 0.3000 0.6000 0.8077 0.0141 0.0000 0.1467 0.0000 0.6000 0.2096 0.1693
437-AH 0.0000 0.0000 0.4000 0.7250 1.0000 0.4000 0.3555 0.7250 1.0000 0.8888 0.0264 0.0000 0.3151 0.0000 1.0000 0.4000 0.3555
438-AH 0.0000 0.1000 0.3000 0.4000 0.6000 0.2425 0.1598 0.3000 0.6000 0.6590 0.0341 0.0000 0.1363 0.0000 0.6000 0.2425 0.1598
439-AH 0.0000 0.0000 0.1000 0.3250 0.5000 0.1644 0.1695 0.3250 0.5000 1.0308 0.0034 0.0000 0.1537 0.0000 0.5000 0.1644 0.1695
440-AH 0.0000 0.0000 0.1000 0.3000 0.6000 0.1685 0.2054 0.3000 0.6000 1.2190 0.0023 0.0000 0.1738 0.0000 0.6000 0.1685 0.2054
441-AH 0.0000 0.0000 0.1000 0.2000 0.7000 0.1521 0.2069 0.2000 0.7000 1.3607 0.0019 0.0000 0.1615 0.0000 0.5000 0.1075 0.1480
442-AH 0.0000 0.2000 0.5000 0.6000 0.9000 0.4219 0.2206 0.4000 0.9000 0.5229 0.1330 0.0001 0.1845 0.0000 0.9000 0.4219 0.2206
443-AH 0.0000 0.0000 0.4000 0.7000 0.9000 0.3918 0.3479 0.7000 0.9000 0.8880 0.0180 0.0000 0.3207 0.0000 0.9000 0.3918 0.3479
444-AH 0.0000 0.1000 0.2000 0.4250 0.8000 0.2877 0.2068 0.3250 0.8000 0.7188 0.0993 0.0001 0.1697 0.0000 0.8000 0.2877 0.2068
445-AH 0.0000 0.0000 0.2000 0.3000 0.4000 0.1767 0.1359 0.3000 0.4000 0.7692 0.0143 0.0000 0.1178 0.0000 0.4000 0.1767 0.1359
446-AH 0.0000 0.0000 0.2000 0.4000 0.7000 0.2356 0.2341 0.4000 0.7000 0.9938 0.0069 0.0000 0.2015 0.0000 0.7000 0.2356 0.2341
447-AH 0.0000 0.0000 0.4000 0.6000 0.6000 0.2863 0.2830 0.6000 0.6000 0.9885 0.0029 0.0000 0.2745 0.0000 0.6000 0.2863 0.2830
448-AH 0.0000 0.1000 0.1000 0.3000 0.4000 0.1685 0.1373 0.2000 0.4000 0.8149 0.0241 0.0000 0.1180 0.0000 0.4000 0.1685 0.1373
449-AH 0.0000 0.0000 0.4000 0.6000 0.9000 0.3548 0.3028 0.6000 0.9000 0.8534 0.0154 0.0000 0.2757 0.0000 0.9000 0.3548 0.3028
450-AH 0.0000 0.0000 0.0000 0.0000 0.3000 0.0068 0.0419 0.0000 0.3000 6.1215 0.0000 0.0000 0.0133 0.0000 0.0000 0.0000 0.0000
232
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1315 0.0916 0.1333 0.2667 0.6966 0.0186 0.0000 0.0736 0.0000 0.2667 0.1315 0.0916
402-AH 0.0000 0.0000 0.0667 0.8667 1.0000 0.3708 0.4148 0.8667 1.0000 1.1189 0.0068 0.0000 0.3901 0.0000 1.0000 0.3708 0.4148
403-AH 0.0000 0.0000 0.1333 0.2833 0.6000 0.1726 0.1714 0.2833 0.6000 0.9928 0.0101 0.0000 0.1427 0.0000 0.6000 0.1726 0.1714
404-AH 0.0000 0.0000 0.0000 0.0667 0.0667 0.0311 0.0335 0.0667 0.0667 1.0784 0.0006 0.0000 0.0332 0.0000 0.0667 0.0311 0.0335
405-AH 0.0000 0.2000 0.4667 0.5333 0.6667 0.3507 0.2222 0.3333 0.6667 0.6337 0.0460 0.0000 0.1919 0.0000 0.6667 0.3507 0.2222
406-AH 0.0000 0.0000 0.0667 0.2000 0.5333 0.1187 0.1450 0.2000 0.5333 1.2211 0.0038 0.0000 0.1110 0.0000 0.4667 0.1130 0.1373
407-AH 0.0000 0.0000 0.2667 0.6667 0.8667 0.3452 0.3074 0.6667 0.8667 0.8904 0.0116 0.0000 0.2827 0.0000 0.8667 0.3452 0.3074
408-AH 0.0000 0.1333 0.2667 0.4000 0.6000 0.2740 0.1834 0.2667 0.6000 0.6695 0.0335 0.0000 0.1505 0.0000 0.6000 0.2740 0.1834
409-AH 0.0000 0.2667 0.4000 0.5333 0.7333 0.3945 0.1868 0.2667 0.7333 0.4736 0.1856 0.0001 0.1491 0.0000 0.7333 0.3945 0.1868
410-AH 0.0000 0.1333 0.6667 0.8667 1.0000 0.5461 0.3481 0.7333 1.0000 0.6375 0.1924 0.0001 0.3108 0.0000 1.0000 0.5461 0.3481
411-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0146 0.0356 0.0000 0.2000 2.4341 0.0000 0.0000 0.0240 0.0000 0.0000 0.0000 0.0000
412-AH 0.0000 0.0000 0.0000 0.0667 0.3333 0.0511 0.0843 0.0667 0.3333 1.6478 0.0003 0.0000 0.0645 0.0000 0.1333 0.0283 0.0469
413-AH 0.0000 0.0000 0.2000 0.2833 0.5333 0.1753 0.1550 0.2833 0.5333 0.8838 0.0068 0.0000 0.1384 0.0000 0.5333 0.1753 0.1550
414-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.1242 0.0983 0.2000 0.2667 0.7917 0.0088 0.0000 0.0859 0.0000 0.2667 0.1242 0.0983
415-AH 0.0000 0.0000 0.0667 0.2500 0.8000 0.1699 0.2497 0.2500 0.8000 1.4700 0.0023 0.0000 0.2028 0.0000 0.4667 0.1005 0.1595
416-AH 0.0000 0.4667 0.6667 0.7333 0.9333 0.5571 0.2530 0.2667 0.9333 0.4541 0.1997 0.0001 0.1989 0.0667 0.9333 0.6162 0.1842
417-AH 0.0000 0.0000 0.1333 0.2000 0.8667 0.1525 0.1871 0.2000 0.8667 1.2266 0.0071 0.0000 0.1291 0.0000 0.4667 0.1169 0.1151
418-AH 0.0000 0.2000 0.5333 0.6000 0.7333 0.3872 0.2523 0.4000 0.7333 0.6516 0.0551 0.0001 0.2262 0.0000 0.7333 0.3872 0.2523
419-AH 0.0000 0.0000 0.1333 0.6667 0.8000 0.2895 0.3182 0.6667 0.8000 1.0992 0.0035 0.0000 0.2917 0.0000 0.8000 0.2895 0.3182
420-AH 0.0000 0.0000 0.0667 0.2833 0.8000 0.1826 0.2641 0.2833 0.8000 1.4460 0.0037 0.0000 0.2122 0.0000 0.6667 0.1212 0.1928
421-AH 0.0000 0.0000 0.3333 0.4667 0.6667 0.2941 0.2333 0.4667 0.6667 0.7933 0.0127 0.0000 0.2012 0.0000 0.6667 0.2941 0.2333
422-AH 0.0000 0.0000 0.0667 0.4000 0.6000 0.1817 0.2079 0.4000 0.6000 1.1442 0.0024 0.0000 0.1859 0.0000 0.6000 0.1817 0.2079
423-AH 0.0000 0.0000 0.0000 0.0000 0.0667 0.0055 0.0184 0.0000 0.0667 3.3648 0.0000 0.0000 0.0101 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0219 0.0472 0.0000 0.2000 2.1541 0.0001 0.0000 0.0348 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0667 0.2167 0.5333 0.1178 0.1403 0.2167 0.5333 1.1912 0.0024 0.0000 0.1201 0.0000 0.5333 0.1178 0.1403
426-AH 0.0000 0.1833 0.3333 0.5333 0.9333 0.3525 0.2663 0.3500 0.9333 0.7555 0.0556 0.0001 0.2175 0.0000 0.9333 0.3525 0.2663
427-AH 0.0000 0.0000 0.0667 0.3333 0.5333 0.1443 0.1648 0.3333 0.5333 1.1422 0.0027 0.0000 0.1432 0.0000 0.5333 0.1443 0.1648
428-AH 0.0000 0.0000 0.0667 0.0667 0.3333 0.0548 0.0731 0.0667 0.3333 1.3350 0.0010 0.0000 0.0540 0.0000 0.1333 0.0415 0.0486
429-AH 0.0000 0.0667 0.1333 0.3333 0.6667 0.2046 0.2068 0.2667 0.6667 1.0108 0.0280 0.0001 0.1708 0.0000 0.6667 0.2046 0.2068
430-AH 0.0000 0.0000 0.2000 0.7333 1.0000 0.3598 0.3430 0.7333 1.0000 0.9532 0.0203 0.0000 0.3154 0.0000 1.0000 0.3598 0.3430
431-AH 0.0000 0.0000 0.0000 0.2667 0.9333 0.2128 0.3286 0.2667 0.9333 1.5443 0.0007 0.0000 0.2659 0.0000 0.6000 0.0733 0.1409
432-AH 0.0000 0.0000 0.2000 0.2667 0.5333 0.1543 0.1563 0.2667 0.5333 1.0127 0.0030 0.0000 0.1394 0.0000 0.5333 0.1543 0.1563
433-AH 0.0000 0.3333 0.8000 0.8667 1.0000 0.6475 0.3096 0.5333 1.0000 0.4782 0.3304 0.0002 0.2679 0.0000 1.0000 0.6475 0.3096
434-AH 0.0000 0.3333 0.8000 1.0000 1.0000 0.6393 0.3718 0.6667 1.0000 0.5816 0.1277 0.0001 0.3336 0.0000 1.0000 0.6393 0.3718
435-AH 0.0000 0.1833 0.7333 0.9333 1.0000 0.5562 0.3783 0.7500 1.0000 0.6802 0.0808 0.0001 0.3488 0.0000 1.0000 0.5562 0.3783
436-AH 0.0000 0.0667 0.2000 0.3333 0.5333 0.1890 0.1461 0.2667 0.5333 0.7731 0.0237 0.0000 0.1201 0.0000 0.5333 0.1890 0.1461
437-AH 0.0000 0.0667 0.4000 0.6667 1.0000 0.4110 0.3437 0.6000 1.0000 0.8364 0.0555 0.0001 0.3094 0.0000 1.0000 0.4110 0.3437
438-AH 0.0000 0.1333 0.2667 0.3333 0.5333 0.2183 0.1339 0.2000 0.5333 0.6135 0.0451 0.0001 0.1126 0.0000 0.5333 0.2183 0.1339
439-AH 0.0000 0.0000 0.1333 0.2667 0.3333 0.1406 0.1341 0.2667 0.3333 0.9532 0.0050 0.0000 0.1229 0.0000 0.3333 0.1406 0.1341
440-AH 0.0000 0.0000 0.0667 0.2667 0.6000 0.1589 0.1797 0.2667 0.6000 1.1310 0.0036 0.0000 0.1518 0.0000 0.6000 0.1589 0.1797
441-AH 0.0000 0.0000 0.0667 0.1333 0.4667 0.1205 0.1413 0.1333 0.4667 1.1719 0.0048 0.0000 0.1095 0.0000 0.3333 0.0821 0.0926
442-AH 0.0000 0.2000 0.4000 0.4167 0.6667 0.3297 0.1598 0.2167 0.6667 0.4848 0.1243 0.0001 0.1326 0.0000 0.6667 0.3297 0.1598
443-AH 0.0000 0.0000 0.3333 0.7333 0.8667 0.3890 0.3399 0.7333 0.8667 0.8738 0.0255 0.0000 0.3140 0.0000 0.8667 0.3890 0.3399
444-AH 0.0000 0.1333 0.2000 0.4000 0.6000 0.2502 0.1684 0.2667 0.6000 0.6731 0.1115 0.0001 0.1418 0.0000 0.6000 0.2502 0.1684
445-AH 0.0000 0.0000 0.1333 0.2000 0.2667 0.1315 0.0975 0.2000 0.2667 0.7413 0.0116 0.0000 0.0863 0.0000 0.2667 0.1315 0.0975
446-AH 0.0000 0.0000 0.2000 0.3333 0.5333 0.2018 0.1953 0.3333 0.5333 0.9677 0.0063 0.0000 0.1700 0.0000 0.5333 0.2018 0.1953
447-AH 0.0000 0.0000 0.3333 0.4000 0.4000 0.2009 0.1955 0.4000 0.4000 0.9729 0.0024 0.0000 0.1927 0.0000 0.4000 0.2009 0.1955
448-AH 0.0000 0.0667 0.1333 0.2000 0.2667 0.1416 0.0981 0.1333 0.2667 0.6930 0.0243 0.0001 0.0871 0.0000 0.2667 0.1416 0.0981
449-AH 0.0000 0.0000 0.4000 0.6000 0.8667 0.3671 0.3043 0.6000 0.8667 0.8289 0.0225 0.0000 0.2799 0.0000 0.8667 0.3671 0.3043
450-AH 0.0000 0.0000 0.0000 0.0000 0.2000 0.0247 0.0503 0.0000 0.2000 2.0406 0.0001 0.0000 0.0378 0.0000 0.0000 0.0000 0.0000
233
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0500 0.1000 0.1500 0.2000 0.1130 0.0692 0.1000 0.2000 0.6126 0.0262 0.0001 0.0588 0.0000 0.2000 0.1130 0.0692
402-AH 0.0000 0.0000 0.1000 0.8000 0.9500 0.3370 0.3741 0.8000 0.9500 1.1101 0.0091 0.0000 0.3504 0.0000 0.9500 0.3370 0.3741
403-AH 0.0000 0.0375 0.1000 0.2500 0.5000 0.1514 0.1414 0.2125 0.5000 0.9342 0.0146 0.0000 0.1182 0.0000 0.5000 0.1514 0.1414
404-AH 0.0000 0.0000 0.0500 0.0500 0.0500 0.0267 0.0251 0.0500 0.0500 0.9402 0.0009 0.0000 0.0249 0.0000 0.0500 0.0267 0.0251
405-AH 0.0000 0.1500 0.4000 0.5000 0.6500 0.3089 0.2045 0.3500 0.6500 0.6621 0.0408 0.0000 0.1790 0.0000 0.6500 0.3089 0.2045
406-AH 0.0000 0.0000 0.1000 0.1500 0.4500 0.1130 0.1202 0.1500 0.4500 1.0635 0.0075 0.0000 0.0911 0.0000 0.2500 0.0818 0.0753
407-AH 0.0000 0.0000 0.2500 0.5500 0.7000 0.2993 0.2595 0.5500 0.7000 0.8669 0.0120 0.0000 0.2377 0.0000 0.7000 0.2993 0.2595
408-AH 0.0000 0.1500 0.3000 0.4000 0.5000 0.2678 0.1653 0.2500 0.5000 0.6172 0.0376 0.0000 0.1402 0.0000 0.5000 0.2678 0.1653
409-AH 0.0000 0.3000 0.3500 0.5125 0.6500 0.3856 0.1892 0.2125 0.6500 0.4906 0.1812 0.0001 0.1539 0.0000 0.6500 0.3856 0.1892
410-AH 0.0000 0.1000 0.6500 0.8500 0.9500 0.5336 0.3457 0.7500 0.9500 0.6479 0.2051 0.0001 0.3121 0.0000 0.9500 0.5336 0.3457
411-AH 0.0000 0.0000 0.0000 0.0500 0.1500 0.0212 0.0362 0.0500 0.1500 1.7070 0.0001 0.0000 0.0297 0.0000 0.1000 0.0194 0.0331
412-AH 0.0000 0.0000 0.0000 0.0500 0.2500 0.0432 0.0689 0.0500 0.2500 1.5962 0.0003 0.0000 0.0532 0.0000 0.1000 0.0211 0.0354
413-AH 0.0000 0.0000 0.2000 0.3000 0.4500 0.1760 0.1387 0.3000 0.4500 0.7881 0.0124 0.0000 0.1241 0.0000 0.4500 0.1760 0.1387
414-AH 0.0000 0.0000 0.1000 0.1500 0.2000 0.1027 0.0763 0.1500 0.2000 0.7429 0.0108 0.0000 0.0660 0.0000 0.2000 0.1027 0.0763
415-AH 0.0000 0.0000 0.0500 0.3125 0.7000 0.1671 0.2382 0.3125 0.7000 1.4254 0.0023 0.0000 0.1952 0.0000 0.7000 0.1671 0.2382
416-AH 0.0000 0.4750 0.6500 0.7000 0.8500 0.5432 0.2523 0.2250 0.8500 0.4644 0.2179 0.0001 0.2006 0.1500 0.8500 0.6156 0.1709
417-AH 0.0000 0.0000 0.1000 0.1500 0.8500 0.1445 0.1727 0.1500 0.8500 1.1951 0.0108 0.0000 0.1123 0.0000 0.3500 0.1074 0.0986
418-AH 0.0000 0.2000 0.4500 0.6000 0.6500 0.3726 0.2311 0.4000 0.6500 0.6202 0.0541 0.0001 0.2003 0.0000 0.6500 0.3726 0.2311
419-AH 0.0000 0.0000 0.1500 0.6500 0.8000 0.2767 0.3017 0.6500 0.8000 1.0904 0.0035 0.0000 0.2752 0.0000 0.8000 0.2767 0.3017
420-AH 0.0000 0.0000 0.1000 0.2125 0.8000 0.1747 0.2479 0.2125 0.8000 1.4195 0.0042 0.0000 0.1954 0.0000 0.4000 0.0667 0.0886
421-AH 0.0000 0.0000 0.3000 0.3625 0.5500 0.2390 0.1882 0.3625 0.5500 0.7875 0.0110 0.0000 0.1671 0.0000 0.5500 0.2390 0.1882
422-AH 0.0000 0.0000 0.1000 0.3500 0.5000 0.1678 0.1765 0.3500 0.5000 1.0515 0.0074 0.0000 0.1566 0.0000 0.5000 0.1678 0.1765
423-AH 0.0000 0.0000 0.0000 0.0000 0.0500 0.0055 0.0157 0.0000 0.0500 2.8702 0.0000 0.0000 0.0098 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0125 0.2000 0.0205 0.0424 0.0125 0.2000 2.0614 0.0001 0.0000 0.0310 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0500 0.2125 0.4000 0.1178 0.1284 0.2125 0.4000 1.0898 0.0065 0.0000 0.1120 0.0000 0.4000 0.1178 0.1284
426-AH 0.0000 0.1375 0.3500 0.5000 0.9500 0.3500 0.2614 0.3625 0.9500 0.7469 0.0617 0.0001 0.2082 0.0000 0.9500 0.3500 0.2614
427-AH 0.0000 0.0000 0.0500 0.3000 0.4000 0.1452 0.1539 0.3000 0.4000 1.0600 0.0035 0.0000 0.1376 0.0000 0.4000 0.1452 0.1539
428-AH 0.0000 0.0000 0.0500 0.1000 0.2500 0.0493 0.0615 0.1000 0.2500 1.2474 0.0012 0.0000 0.0459 0.0000 0.2500 0.0493 0.0615
429-AH 0.0000 0.0500 0.1000 0.3125 0.6500 0.2007 0.1901 0.2625 0.6500 0.9474 0.0312 0.0001 0.1570 0.0000 0.6500 0.2007 0.1901
430-AH 0.0000 0.0000 0.3000 0.6000 0.8500 0.3192 0.2863 0.6000 0.8500 0.8971 0.0193 0.0000 0.2583 0.0000 0.8500 0.3192 0.2863
431-AH 0.0000 0.0000 0.0500 0.3000 0.8500 0.1890 0.2717 0.3000 0.8500 1.4374 0.0021 0.0000 0.2201 0.0000 0.7500 0.1621 0.2432
432-AH 0.0000 0.0000 0.2000 0.3000 0.4500 0.1699 0.1602 0.3000 0.4500 0.9433 0.0040 0.0000 0.1486 0.0000 0.4500 0.1699 0.1602
433-AH 0.0000 0.4000 0.8500 0.9000 1.0000 0.6500 0.3194 0.5000 1.0000 0.4914 0.3675 0.0002 0.2877 0.0000 1.0000 0.6500 0.3194
434-AH 0.0000 0.3000 0.8000 1.0000 1.0000 0.6301 0.3791 0.7000 1.0000 0.6016 0.1388 0.0001 0.3439 0.0000 1.0000 0.6301 0.3791
435-AH 0.0000 0.2000 0.7000 0.9125 1.0000 0.5610 0.3761 0.7125 1.0000 0.6705 0.1305 0.0001 0.3493 0.0000 1.0000 0.5610 0.3761
436-AH 0.0000 0.0500 0.2000 0.3000 0.4500 0.1836 0.1397 0.2500 0.4500 0.7611 0.0231 0.0000 0.1226 0.0000 0.4500 0.1836 0.1397
437-AH 0.0000 0.0875 0.4000 0.6625 1.0000 0.4158 0.3338 0.5750 1.0000 0.8030 0.0646 0.0001 0.2995 0.0000 1.0000 0.4158 0.3338
438-AH 0.0000 0.1000 0.2500 0.3000 0.5000 0.2007 0.1268 0.2000 0.5000 0.6318 0.0419 0.0001 0.1020 0.0000 0.5000 0.2007 0.1268
439-AH 0.0000 0.0000 0.1000 0.2500 0.3000 0.1295 0.1124 0.2500 0.3000 0.8681 0.0077 0.0000 0.1011 0.0000 0.3000 0.1295 0.1124
440-AH 0.0000 0.0000 0.1500 0.2500 0.5000 0.1397 0.1505 0.2500 0.5000 1.0768 0.0043 0.0000 0.1255 0.0000 0.5000 0.1397 0.1505
441-AH 0.0000 0.0000 0.0500 0.1500 0.3500 0.1007 0.1104 0.1500 0.3500 1.0964 0.0067 0.0000 0.0859 0.0000 0.3500 0.1007 0.1104
442-AH 0.0000 0.2000 0.3000 0.3500 0.5000 0.2616 0.1189 0.1500 0.5000 0.4544 0.1025 0.0001 0.0963 0.0000 0.5000 0.2616 0.1189
443-AH 0.0000 0.0000 0.3500 0.7000 0.8500 0.3767 0.3243 0.7000 0.8500 0.8608 0.0252 0.0000 0.2969 0.0000 0.8500 0.3767 0.3243
444-AH 0.0000 0.1000 0.2000 0.3500 0.5500 0.2288 0.1514 0.2500 0.5500 0.6616 0.1019 0.0001 0.1263 0.0000 0.5500 0.2288 0.1514
445-AH 0.0000 0.0000 0.1500 0.1500 0.2000 0.1034 0.0761 0.1500 0.2000 0.7355 0.0098 0.0000 0.0677 0.0000 0.2000 0.1034 0.0761
446-AH 0.0000 0.0000 0.1500 0.3000 0.5000 0.1815 0.1707 0.3000 0.5000 0.9404 0.0067 0.0000 0.1497 0.0000 0.5000 0.1815 0.1707
447-AH 0.0000 0.0000 0.2500 0.3000 0.3000 0.1534 0.1489 0.3000 0.3000 0.9706 0.0021 0.0000 0.1471 0.0000 0.3000 0.1534 0.1489
448-AH 0.0000 0.0500 0.1500 0.2000 0.2000 0.1116 0.0743 0.1500 0.2000 0.6656 0.0226 0.0001 0.0663 0.0000 0.2000 0.1116 0.0743
449-AH 0.0000 0.0500 0.4000 0.6500 0.8000 0.3699 0.3051 0.6000 0.8000 0.8250 0.0322 0.0000 0.2785 0.0000 0.8000 0.3699 0.3051
450-AH 0.0000 0.0000 0.0000 0.0500 0.2500 0.0349 0.0670 0.0500 0.2500 1.9187 0.0001 0.0000 0.0517 0.0000 0.1000 0.0146 0.0339
234
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0667 0.1000 0.1333 0.1667 0.0913 0.0478 0.0667 0.1667 0.5234 0.0231 0.0001 0.0361 0.0000 0.1667 0.0913 0.0478
402-AH 0.0000 0.0000 0.0667 0.6083 0.8333 0.2845 0.3077 0.6083 0.8333 1.0815 0.0142 0.0000 0.2881 0.0000 0.8333 0.2845 0.3077
403-AH 0.0000 0.0333 0.1000 0.2000 0.4667 0.1311 0.1197 0.1667 0.4667 0.9135 0.0163 0.0000 0.0999 0.0000 0.4333 0.1216 0.1069
404-AH 0.0000 0.0000 0.0333 0.0333 0.0333 0.0219 0.0159 0.0333 0.0333 0.7267 0.0021 0.0000 0.0150 0.0000 0.0333 0.0219 0.0159
405-AH 0.0000 0.1000 0.2667 0.4000 0.5000 0.2539 0.1785 0.3000 0.5000 0.7032 0.0340 0.0000 0.1568 0.0000 0.5000 0.2539 0.1785
406-AH 0.0000 0.0000 0.1000 0.1333 0.3333 0.0959 0.0875 0.1333 0.3333 0.9123 0.0070 0.0000 0.0709 0.0000 0.3333 0.0959 0.0875
407-AH 0.0000 0.0250 0.2667 0.4333 0.6333 0.2548 0.2090 0.4083 0.6333 0.8203 0.0214 0.0000 0.1893 0.0000 0.6333 0.2548 0.2090
408-AH 0.0000 0.1583 0.3000 0.3750 0.4667 0.2580 0.1569 0.2167 0.4667 0.6083 0.0503 0.0001 0.1354 0.0000 0.4667 0.2580 0.1569
409-AH 0.0000 0.2583 0.3000 0.4333 0.5333 0.3228 0.1460 0.1750 0.5333 0.4523 0.1585 0.0001 0.1136 0.0000 0.5333 0.3228 0.1460
410-AH 0.0000 0.2000 0.6333 0.7667 0.9000 0.5114 0.3140 0.5667 0.9000 0.6141 0.2057 0.0001 0.2840 0.0000 0.9000 0.5114 0.3140
411-AH 0.0000 0.0000 0.0333 0.0667 0.1000 0.0370 0.0354 0.0667 0.1000 0.9566 0.0018 0.0000 0.0309 0.0000 0.1000 0.0370 0.0354
412-AH 0.0000 0.0000 0.0000 0.0667 0.1667 0.0393 0.0516 0.0667 0.1667 1.3146 0.0006 0.0000 0.0431 0.0000 0.1667 0.0393 0.0516
413-AH 0.0000 0.0000 0.2000 0.2333 0.3000 0.1470 0.1090 0.2333 0.3000 0.7412 0.0111 0.0000 0.0996 0.0000 0.3000 0.1470 0.1090
414-AH 0.0000 0.0333 0.1000 0.1333 0.1333 0.0785 0.0534 0.1000 0.1333 0.6798 0.0112 0.0000 0.0473 0.0000 0.1333 0.0785 0.0534
415-AH 0.0000 0.0000 0.0333 0.3000 0.7000 0.1639 0.2269 0.3000 0.7000 1.3844 0.0034 0.0000 0.1872 0.0000 0.7000 0.1639 0.2269
416-AH 0.0000 0.3500 0.5333 0.6667 0.7667 0.4772 0.2306 0.3167 0.7667 0.4833 0.1915 0.0001 0.1849 0.0000 0.7667 0.4772 0.2306
417-AH 0.0000 0.0333 0.1000 0.1667 0.7333 0.1347 0.1505 0.1333 0.7333 1.1169 0.0202 0.0001 0.1023 0.0000 0.3333 0.1058 0.0909
418-AH 0.0000 0.2167 0.4000 0.4667 0.4667 0.3146 0.1835 0.2500 0.4667 0.5833 0.0482 0.0001 0.1569 0.0000 0.4667 0.3146 0.1835
419-AH 0.0000 0.0000 0.1333 0.5333 0.6667 0.2402 0.2520 0.5333 0.6667 1.0493 0.0063 0.0000 0.2314 0.0000 0.6667 0.2402 0.2520
420-AH 0.0000 0.0000 0.0667 0.2333 0.7667 0.1671 0.2211 0.2333 0.7667 1.3232 0.0057 0.0000 0.1787 0.0000 0.5667 0.1157 0.1603
421-AH 0.0000 0.0000 0.2333 0.2667 0.4000 0.1795 0.1387 0.2667 0.4000 0.7731 0.0102 0.0000 0.1210 0.0000 0.4000 0.1795 0.1387
422-AH 0.0000 0.0000 0.1000 0.3000 0.4667 0.1598 0.1564 0.3000 0.4667 0.9789 0.0126 0.0000 0.1393 0.0000 0.4667 0.1598 0.1564
423-AH 0.0000 0.0000 0.0000 0.0000 0.0333 0.0064 0.0132 0.0000 0.0333 2.0671 0.0000 0.0000 0.0103 0.0000 0.0000 0.0000 0.0000
424-AH 0.0000 0.0000 0.0000 0.0333 0.1333 0.0174 0.0334 0.0333 0.1333 1.9240 0.0001 0.0000 0.0257 0.0000 0.0667 0.0095 0.0208
425-AH 0.0000 0.0000 0.0667 0.2000 0.3333 0.1055 0.1072 0.2000 0.3333 1.0159 0.0069 0.0000 0.0929 0.0000 0.3333 0.1055 0.1072
426-AH 0.0000 0.1000 0.3333 0.5000 0.8333 0.3301 0.2361 0.4000 0.8333 0.7152 0.0816 0.0001 0.1909 0.0000 0.8333 0.3301 0.2361
427-AH 0.0000 0.0000 0.0667 0.2667 0.4000 0.1352 0.1311 0.2667 0.4000 0.9700 0.0098 0.0000 0.1206 0.0000 0.4000 0.1352 0.1311
428-AH 0.0000 0.0000 0.0333 0.0667 0.2000 0.0447 0.0485 0.0667 0.2000 1.0839 0.0022 0.0000 0.0390 0.0000 0.1667 0.0404 0.0414
429-AH 0.0000 0.0333 0.1333 0.2667 0.6333 0.1790 0.1594 0.2333 0.6333 0.8907 0.0362 0.0001 0.1283 0.0000 0.5333 0.1727 0.1511
430-AH 0.0000 0.0250 0.3000 0.4750 0.6667 0.2603 0.2223 0.4500 0.6667 0.8542 0.0212 0.0000 0.2023 0.0000 0.6667 0.2603 0.2223
431-AH 0.0000 0.0000 0.0333 0.2333 0.6333 0.1566 0.2174 0.2333 0.6333 1.3878 0.0069 0.0000 0.1749 0.0000 0.5333 0.0841 0.1258
432-AH 0.0000 0.0000 0.2000 0.3333 0.4333 0.1781 0.1618 0.3333 0.4333 0.9086 0.0059 0.0000 0.1510 0.0000 0.4333 0.1781 0.1618
433-AH 0.0000 0.3667 0.8333 0.9000 1.0000 0.6521 0.3096 0.5333 1.0000 0.4748 0.3722 0.0002 0.2774 0.0000 1.0000 0.6521 0.3096
434-AH 0.0000 0.2250 0.7667 1.0000 1.0000 0.6123 0.3923 0.7750 1.0000 0.6407 0.1293 0.0001 0.3596 0.0000 1.0000 0.6123 0.3923
435-AH 0.0000 0.1333 0.6667 0.9333 1.0000 0.5575 0.3814 0.8000 1.0000 0.6842 0.1756 0.0001 0.3511 0.0000 1.0000 0.5575 0.3814
436-AH 0.0000 0.0583 0.2000 0.3333 0.4333 0.1863 0.1434 0.2750 0.4333 0.7695 0.0253 0.0000 0.1290 0.0000 0.4333 0.1863 0.1434
437-AH 0.0000 0.0667 0.3667 0.6333 1.0000 0.3973 0.3180 0.5667 1.0000 0.8004 0.0697 0.0001 0.2712 0.0000 1.0000 0.3973 0.3180
438-AH 0.0000 0.1000 0.2000 0.2417 0.4667 0.1849 0.1093 0.1417 0.4667 0.5910 0.0613 0.0001 0.0875 0.0000 0.4333 0.1810 0.1048
439-AH 0.0000 0.0000 0.1333 0.2000 0.3000 0.1078 0.0876 0.2000 0.3000 0.8127 0.0086 0.0000 0.0798 0.0000 0.3000 0.1078 0.0876
440-AH 0.0000 0.0000 0.1333 0.2000 0.4000 0.1233 0.1226 0.2000 0.4000 0.9941 0.0052 0.0000 0.1015 0.0000 0.4000 0.1233 0.1226
441-AH 0.0000 0.0000 0.0667 0.1000 0.2667 0.0781 0.0780 0.1000 0.2667 0.9992 0.0058 0.0000 0.0646 0.0000 0.2333 0.0755 0.0753
442-AH 0.0000 0.1667 0.2333 0.2667 0.3667 0.1973 0.0831 0.1000 0.3667 0.4213 0.0807 0.0001 0.0624 0.0667 0.3667 0.2182 0.0549
443-AH 0.0000 0.0000 0.3333 0.6000 0.7333 0.3301 0.2730 0.6000 0.7333 0.8268 0.0234 0.0000 0.2526 0.0000 0.7333 0.3301 0.2730
444-AH 0.0000 0.1000 0.2000 0.3000 0.4000 0.1977 0.1129 0.2000 0.4000 0.5713 0.1029 0.0002 0.0938 0.0000 0.4000 0.1977 0.1129
445-AH 0.0000 0.0000 0.1000 0.1333 0.1333 0.0744 0.0551 0.1333 0.1333 0.7409 0.0077 0.0000 0.0502 0.0000 0.1333 0.0744 0.0551
446-AH 0.0000 0.0000 0.1667 0.2333 0.3333 0.1347 0.1186 0.2333 0.3333 0.8802 0.0079 0.0000 0.1009 0.0000 0.3333 0.1347 0.1186
447-AH 0.0000 0.0000 0.1667 0.2000 0.2000 0.1023 0.0993 0.2000 0.2000 0.9706 0.0017 0.0000 0.0981 0.0000 0.2000 0.1023 0.0993
448-AH 0.0000 0.0333 0.1000 0.1333 0.1333 0.0813 0.0475 0.1000 0.1333 0.5839 0.0246 0.0001 0.0415 0.0000 0.1333 0.0813 0.0475
449-AH 0.0000 0.0667 0.3667 0.5667 0.8000 0.3470 0.2842 0.5000 0.8000 0.8191 0.0443 0.0001 0.2564 0.0000 0.8000 0.3470 0.2842
450-AH 0.0000 0.0000 0.0000 0.0333 0.2333 0.0457 0.0821 0.0333 0.2333 1.7985 0.0002 0.0000 0.0640 0.0000 0.0333 0.0047 0.0117
235
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0400 0.0400 0.0500 0.0600 0.0366 0.0174 0.0100 0.0600 0.4762 0.0109 0.0001 0.0127 0.0300 0.0600 0.0438 0.0066
402-AH 0.0000 0.0100 0.0800 0.3100 0.4500 0.1530 0.1561 0.3000 0.4500 1.0200 0.0172 0.0001 0.1430 0.0000 0.4500 0.1530 0.1561
403-AH 0.0000 0.0400 0.0900 0.1550 0.2600 0.1007 0.0717 0.1150 0.2600 0.7117 0.0361 0.0001 0.0594 0.0000 0.2600 0.1007 0.0717
404-AH 0.0000 0.0100 0.0100 0.0100 0.0100 0.0081 0.0040 0.0000 0.0100 0.4905 0.0027 0.0001 0.0031 0.0100 0.0100 0.0100 0.0000
405-AH 0.0000 0.0600 0.1400 0.1600 0.2000 0.1097 0.0688 0.1000 0.2000 0.6270 0.0184 0.0000 0.0589 0.0000 0.2000 0.1097 0.0688
406-AH 0.0000 0.0100 0.0500 0.0800 0.1500 0.0525 0.0430 0.0700 0.1500 0.8197 0.0090 0.0000 0.0374 0.0000 0.1500 0.0525 0.0430
407-AH 0.0000 0.0200 0.1400 0.1800 0.2300 0.1126 0.0781 0.1600 0.2300 0.6933 0.0372 0.0001 0.0715 0.0000 0.2300 0.1126 0.0781
408-AH 0.0000 0.0900 0.1600 0.1725 0.1800 0.1314 0.0560 0.0825 0.1800 0.4263 0.0670 0.0001 0.0452 0.0000 0.1800 0.1314 0.0560
409-AH 0.0000 0.1375 0.1600 0.1700 0.1900 0.1448 0.0475 0.0325 0.1900 0.3280 0.1051 0.0004 0.0349 0.0900 0.1900 0.1598 0.0237
410-AH 0.0000 0.2250 0.3800 0.4100 0.4300 0.3040 0.1400 0.1850 0.4300 0.4605 0.1449 0.0001 0.1198 0.0000 0.4300 0.3040 0.1400
411-AH 0.0000 0.0200 0.0400 0.0600 0.0800 0.0405 0.0270 0.0400 0.0800 0.6664 0.0127 0.0001 0.0239 0.0000 0.0800 0.0405 0.0270
412-AH 0.0000 0.0075 0.0200 0.0400 0.1300 0.0299 0.0293 0.0325 0.1300 0.9818 0.0043 0.0000 0.0226 0.0000 0.0800 0.0266 0.0248
413-AH 0.0000 0.0300 0.0900 0.1125 0.1500 0.0774 0.0498 0.0825 0.1500 0.6428 0.0138 0.0000 0.0416 0.0000 0.1500 0.0774 0.0498
414-AH 0.0000 0.0200 0.0300 0.0400 0.0400 0.0275 0.0142 0.0200 0.0400 0.5164 0.0109 0.0001 0.0124 0.0000 0.0400 0.0275 0.0142
415-AH 0.0000 0.0000 0.0200 0.1925 0.4000 0.1007 0.1302 0.1925 0.4000 1.2934 0.0063 0.0000 0.1092 0.0000 0.4000 0.1007 0.1302
416-AH 0.0000 0.1800 0.2800 0.2925 0.3300 0.2285 0.0964 0.1125 0.3300 0.4220 0.1253 0.0002 0.0790 0.0400 0.3300 0.2451 0.0767
417-AH 0.0000 0.0400 0.0900 0.1425 0.3800 0.1014 0.0885 0.1025 0.3800 0.8733 0.0257 0.0001 0.0679 0.0000 0.2900 0.0935 0.0760
418-AH 0.0000 0.0775 0.1400 0.1400 0.1400 0.1042 0.0560 0.0625 0.1400 0.5372 0.0203 0.0001 0.0469 0.0000 0.1400 0.1042 0.0560
419-AH 0.0000 0.0200 0.1200 0.2125 0.2300 0.1153 0.0953 0.1925 0.2300 0.8266 0.0145 0.0000 0.0894 0.0000 0.2300 0.1153 0.0953
420-AH 0.0000 0.0100 0.0600 0.2300 0.3500 0.1222 0.1227 0.2200 0.3500 1.0044 0.0146 0.0000 0.1103 0.0000 0.3500 0.1222 0.1227
421-AH 0.0000 0.0000 0.0800 0.1100 0.1200 0.0666 0.0493 0.1100 0.1200 0.7410 0.0063 0.0000 0.0439 0.0000 0.1200 0.0666 0.0493
422-AH 0.0000 0.0200 0.1000 0.1625 0.2700 0.0974 0.0750 0.1425 0.2700 0.7699 0.0409 0.0002 0.0651 0.0000 0.2700 0.0974 0.0750
423-AH 0.0000 0.0000 0.0000 0.0100 0.0100 0.0044 0.0050 0.0100 0.0100 1.1398 0.0002 0.0000 0.0049 0.0000 0.0100 0.0044 0.0050
424-AH 0.0000 0.0000 0.0000 0.0100 0.0500 0.0090 0.0153 0.0100 0.0500 1.6912 0.0002 0.0000 0.0116 0.0000 0.0200 0.0025 0.0051
425-AH 0.0000 0.0100 0.0600 0.1300 0.2400 0.0716 0.0640 0.1200 0.2400 0.8928 0.0166 0.0001 0.0564 0.0000 0.2400 0.0716 0.0640
426-AH 0.0000 0.0800 0.2700 0.3500 0.4300 0.2366 0.1363 0.2700 0.4300 0.5762 0.1367 0.0004 0.1173 0.0000 0.4300 0.2366 0.1363
427-AH 0.0000 0.0175 0.1200 0.1600 0.1600 0.0873 0.0719 0.1425 0.1600 0.8236 0.0124 0.0000 0.0697 0.0000 0.1600 0.0873 0.0719
428-AH 0.0000 0.0100 0.0200 0.0400 0.0700 0.0274 0.0186 0.0300 0.0700 0.6802 0.0121 0.0001 0.0158 0.0000 0.0700 0.0274 0.0186
429-AH 0.0000 0.0300 0.1100 0.1550 0.3200 0.1138 0.0887 0.1250 0.3200 0.7795 0.0411 0.0001 0.0711 0.0000 0.3200 0.1138 0.0887
430-AH 0.0000 0.0100 0.1300 0.2100 0.2500 0.1196 0.0902 0.2000 0.2500 0.7544 0.0163 0.0000 0.0810 0.0000 0.2500 0.1196 0.0902
431-AH 0.0000 0.0175 0.0400 0.1200 0.2000 0.0679 0.0691 0.1025 0.2000 1.0173 0.0100 0.0000 0.0584 0.0000 0.2000 0.0679 0.0691
432-AH 0.0000 0.0000 0.0600 0.2025 0.2200 0.0981 0.0890 0.2025 0.2200 0.9073 0.0090 0.0000 0.0829 0.0000 0.2200 0.0981 0.0890
433-AH 0.0000 0.4025 0.6900 0.8025 0.9100 0.5973 0.2682 0.4000 0.9100 0.4491 0.4147 0.0007 0.2274 0.0000 0.9100 0.5973 0.2682
434-AH 0.0100 0.1525 0.5400 0.7900 0.9500 0.4832 0.3233 0.6375 0.9400 0.6692 0.2879 0.0921 0.2899 0.0100 0.9500 0.4832 0.3233
435-AH 0.0000 0.1775 0.4400 0.6950 0.7800 0.4211 0.2786 0.5175 0.7800 0.6615 0.2120 0.0004 0.2440 0.0000 0.7800 0.4211 0.2786
436-AH 0.0000 0.0400 0.1300 0.2400 0.3700 0.1452 0.1127 0.2000 0.3700 0.7760 0.0377 0.0001 0.0965 0.0000 0.3700 0.1452 0.1127
437-AH 0.0000 0.1000 0.3500 0.5225 0.8800 0.3534 0.2725 0.4225 0.8800 0.7710 0.0761 0.0001 0.2325 0.0000 0.8800 0.3534 0.2725
438-AH 0.0000 0.0800 0.1500 0.2000 0.2300 0.1379 0.0592 0.1200 0.2300 0.4294 0.0991 0.0004 0.0490 0.0000 0.2300 0.1379 0.0592
439-AH 0.0000 0.0100 0.0700 0.1250 0.1900 0.0742 0.0586 0.1150 0.1900 0.7888 0.0127 0.0001 0.0525 0.0000 0.1900 0.0742 0.0586
440-AH 0.0000 0.0000 0.0700 0.1025 0.1500 0.0608 0.0524 0.1025 0.1500 0.8621 0.0038 0.0000 0.0454 0.0000 0.1500 0.0608 0.0524
441-AH 0.0000 0.0100 0.0300 0.0525 0.0800 0.0349 0.0278 0.0425 0.0800 0.7957 0.0067 0.0000 0.0238 0.0000 0.0800 0.0349 0.0278
442-AH 0.0000 0.0700 0.0800 0.0900 0.1100 0.0719 0.0259 0.0200 0.1100 0.3603 0.0364 0.0001 0.0175 0.0400 0.1100 0.0794 0.0123
443-AH 0.0000 0.0000 0.2200 0.3325 0.3600 0.1834 0.1444 0.3325 0.3600 0.7874 0.0154 0.0000 0.1342 0.0000 0.3600 0.1834 0.1444
444-AH 0.0000 0.0700 0.1300 0.1700 0.2000 0.1190 0.0554 0.1000 0.2000 0.4657 0.0916 0.0007 0.0482 0.0000 0.2000 0.1190 0.0554
445-AH 0.0000 0.0175 0.0300 0.0400 0.0400 0.0253 0.0155 0.0225 0.0400 0.6102 0.0058 0.0000 0.0134 0.0000 0.0400 0.0253 0.0155
446-AH 0.0000 0.0175 0.0700 0.0900 0.1200 0.0600 0.0403 0.0725 0.1200 0.6713 0.0099 0.0000 0.0340 0.0000 0.1200 0.0600 0.0403
447-AH 0.0000 0.0000 0.0500 0.0600 0.0600 0.0307 0.0298 0.0600 0.0600 0.9706 0.0009 0.0000 0.0294 0.0000 0.0600 0.0307 0.0298
448-AH 0.0000 0.0300 0.0400 0.0400 0.0400 0.0322 0.0131 0.0100 0.0400 0.4085 0.0156 0.0001 0.0101 0.0200 0.0400 0.0373 0.0052
449-AH 0.0000 0.0675 0.2400 0.3000 0.4200 0.1941 0.1403 0.2325 0.4200 0.7228 0.0640 0.0001 0.1242 0.0000 0.4200 0.1941 0.1403
450-AH 0.0000 0.0000 0.0100 0.0300 0.1900 0.0390 0.0661 0.0300 0.1900 1.6943 0.0014 0.0000 0.0489 0.0000 0.0700 0.0111 0.0159
236
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0200 0.0250 0.0300 0.0300 0.0208 0.0102 0.0100 0.0300 0.4886 0.0068 0.0001 0.0076 0.0150 0.0300 0.0249 0.0045
402-AH 0.0000 0.0150 0.0750 0.1962 0.2600 0.1014 0.0926 0.1812 0.2600 0.9138 0.0452 0.0007 0.0855 0.0000 0.2600 0.1014 0.0926
403-AH 0.0000 0.0350 0.0700 0.1113 0.1750 0.0713 0.0464 0.0762 0.1750 0.6514 0.0301 0.0001 0.0391 0.0000 0.1750 0.0713 0.0464
404-AH 0.0000 0.0050 0.0050 0.0050 0.0050 0.0042 0.0019 0.0000 0.0050 0.4466 0.0018 0.0001 0.0014 0.0050 0.0050 0.0050 0.0000
405-AH 0.0000 0.0300 0.0750 0.0900 0.1050 0.0610 0.0370 0.0600 0.1050 0.6061 0.0117 0.0000 0.0312 0.0000 0.1050 0.0610 0.0370
406-AH 0.0000 0.0137 0.0400 0.0513 0.0900 0.0351 0.0244 0.0375 0.0900 0.6959 0.0091 0.0001 0.0206 0.0000 0.0900 0.0351 0.0244
407-AH 0.0000 0.0150 0.0800 0.0950 0.1150 0.0655 0.0397 0.0800 0.1150 0.6063 0.0331 0.0002 0.0364 0.0000 0.1150 0.0655 0.0397
408-AH 0.0000 0.0650 0.0850 0.0900 0.0900 0.0725 0.0251 0.0250 0.0900 0.3464 0.0488 0.0002 0.0191 0.0400 0.0900 0.0801 0.0130
409-AH 0.0000 0.0750 0.0900 0.0950 0.0950 0.0798 0.0237 0.0200 0.0950 0.2969 0.0602 0.0004 0.0167 0.0500 0.0950 0.0864 0.0113
410-AH 0.0000 0.1350 0.2100 0.2262 0.2350 0.1825 0.0626 0.0912 0.2350 0.3429 0.1287 0.0004 0.0496 0.0000 0.2350 0.1825 0.0626
411-AH 0.0000 0.0187 0.0300 0.0400 0.0500 0.0281 0.0147 0.0212 0.0500 0.5222 0.0119 0.0001 0.0122 0.0000 0.0500 0.0281 0.0147
412-AH 0.0000 0.0100 0.0200 0.0312 0.0900 0.0246 0.0211 0.0212 0.0900 0.8599 0.0090 0.0001 0.0164 0.0000 0.0600 0.0204 0.0164
413-AH 0.0000 0.0150 0.0600 0.0700 0.0750 0.0468 0.0290 0.0550 0.0750 0.6203 0.0109 0.0001 0.0258 0.0000 0.0750 0.0468 0.0290
414-AH 0.0000 0.0100 0.0200 0.0200 0.0200 0.0149 0.0068 0.0100 0.0200 0.4554 0.0077 0.0001 0.0059 0.0000 0.0200 0.0149 0.0068
415-AH 0.0000 0.0087 0.0400 0.1450 0.2650 0.0743 0.0831 0.1362 0.2650 1.1187 0.0140 0.0001 0.0695 0.0000 0.2650 0.0743 0.0831
416-AH 0.0000 0.1187 0.1550 0.1600 0.1650 0.1307 0.0474 0.0412 0.1650 0.3625 0.0771 0.0002 0.0360 0.0600 0.1650 0.1448 0.0253
417-AH 0.0000 0.0300 0.0700 0.1163 0.2850 0.0805 0.0668 0.0863 0.2850 0.8294 0.0210 0.0001 0.0522 0.0000 0.2000 0.0748 0.0580
418-AH 0.0000 0.0512 0.0700 0.0700 0.0700 0.0538 0.0283 0.0188 0.0700 0.5269 0.0129 0.0001 0.0236 0.0250 0.0700 0.0675 0.0089
419-AH 0.0000 0.0150 0.0800 0.1150 0.1150 0.0689 0.0455 0.1000 0.1150 0.6597 0.0173 0.0001 0.0406 0.0000 0.1150 0.0689 0.0455
420-AH 0.0000 0.0150 0.0750 0.1600 0.2150 0.0854 0.0746 0.1450 0.2150 0.8729 0.0161 0.0001 0.0658 0.0000 0.2150 0.0854 0.0746
421-AH 0.0000 0.0050 0.0500 0.0600 0.0600 0.0373 0.0248 0.0550 0.0600 0.6657 0.0073 0.0000 0.0222 0.0000 0.0600 0.0373 0.0248
422-AH 0.0050 0.0187 0.0800 0.0950 0.1650 0.0677 0.0442 0.0762 0.1600 0.6532 0.0477 0.0286 0.0384 0.0050 0.1650 0.0677 0.0442
423-AH 0.0000 0.0000 0.0050 0.0050 0.0050 0.0027 0.0025 0.0050 0.0050 0.9402 0.0003 0.0000 0.0025 0.0000 0.0050 0.0027 0.0025
424-AH 0.0000 0.0000 0.0050 0.0100 0.0250 0.0069 0.0083 0.0100 0.0250 1.2024 0.0004 0.0000 0.0071 0.0000 0.0200 0.0059 0.0073
425-AH 0.0000 0.0087 0.0550 0.1050 0.1350 0.0575 0.0459 0.0962 0.1350 0.7980 0.0218 0.0001 0.0418 0.0000 0.1350 0.0575 0.0459
426-AH 0.0000 0.0650 0.2100 0.2763 0.3450 0.1874 0.1046 0.2113 0.3450 0.5580 0.1232 0.0007 0.0881 0.0000 0.3450 0.1874 0.1046
427-AH 0.0000 0.0100 0.0600 0.0800 0.0800 0.0455 0.0358 0.0700 0.0800 0.7864 0.0084 0.0001 0.0345 0.0000 0.0800 0.0455 0.0358
428-AH 0.0000 0.0100 0.0200 0.0300 0.0450 0.0212 0.0111 0.0200 0.0450 0.5261 0.0165 0.0007 0.0096 0.0000 0.0450 0.0212 0.0111
429-AH 0.0000 0.0200 0.0800 0.1262 0.1950 0.0842 0.0612 0.1062 0.1950 0.7276 0.0418 0.0002 0.0520 0.0000 0.1950 0.0842 0.0612
430-AH 0.0000 0.0137 0.0850 0.1150 0.1400 0.0716 0.0498 0.1013 0.1400 0.6962 0.0167 0.0001 0.0444 0.0000 0.1400 0.0716 0.0498
431-AH 0.0000 0.0100 0.0450 0.0750 0.1000 0.0426 0.0348 0.0650 0.1000 0.8174 0.0123 0.0001 0.0300 0.0000 0.1000 0.0426 0.0348
432-AH 0.0000 0.0000 0.0400 0.1050 0.1100 0.0521 0.0446 0.1050 0.1100 0.8562 0.0060 0.0000 0.0412 0.0000 0.1100 0.0521 0.0446
433-AH 0.0050 0.3500 0.5800 0.6962 0.7950 0.5128 0.2294 0.3462 0.7900 0.4474 0.3986 0.1305 0.1946 0.0050 0.7950 0.5128 0.2294
434-AH 0.0050 0.1000 0.3650 0.5050 0.5450 0.3129 0.1959 0.4050 0.5400 0.6260 0.2043 0.0801 0.1776 0.0050 0.5450 0.3129 0.1959
435-AH 0.0000 0.1263 0.3500 0.4375 0.4900 0.2945 0.1686 0.3112 0.4900 0.5726 0.1591 0.0004 0.1448 0.0000 0.4900 0.2945 0.1686
436-AH 0.0000 0.0450 0.1000 0.1738 0.2600 0.1118 0.0818 0.1288 0.2600 0.7318 0.0372 0.0001 0.0701 0.0000 0.2600 0.1118 0.0818
437-AH 0.0000 0.1250 0.3050 0.5025 0.7000 0.3101 0.2118 0.3775 0.7000 0.6828 0.0996 0.0001 0.1819 0.0000 0.7000 0.3101 0.2118
438-AH 0.0000 0.0825 0.1000 0.1350 0.1400 0.0968 0.0388 0.0525 0.1400 0.4013 0.0705 0.0004 0.0311 0.0100 0.1400 0.0995 0.0357
439-AH 0.0000 0.0100 0.0600 0.1013 0.1500 0.0568 0.0463 0.0913 0.1500 0.8157 0.0110 0.0001 0.0416 0.0000 0.1500 0.0568 0.0463
440-AH 0.0000 0.0037 0.0400 0.0600 0.0850 0.0364 0.0289 0.0562 0.0850 0.7944 0.0052 0.0000 0.0250 0.0000 0.0850 0.0364 0.0289
441-AH 0.0000 0.0100 0.0250 0.0350 0.0450 0.0223 0.0150 0.0250 0.0450 0.6698 0.0060 0.0001 0.0128 0.0000 0.0450 0.0223 0.0150
442-AH 0.0000 0.0350 0.0400 0.0450 0.0550 0.0377 0.0125 0.0100 0.0550 0.3319 0.0222 0.0001 0.0082 0.0250 0.0550 0.0414 0.0051
443-AH 0.0000 0.0037 0.1500 0.1900 0.2050 0.1102 0.0839 0.1862 0.2050 0.7615 0.0118 0.0000 0.0781 0.0000 0.2050 0.1102 0.0839
444-AH 0.0000 0.0575 0.0900 0.1050 0.1200 0.0814 0.0307 0.0475 0.1200 0.3776 0.0659 0.0007 0.0259 0.0000 0.1200 0.0814 0.0307
445-AH 0.0000 0.0100 0.0150 0.0200 0.0200 0.0134 0.0075 0.0100 0.0200 0.5652 0.0042 0.0001 0.0064 0.0000 0.0200 0.0134 0.0075
446-AH 0.0000 0.0200 0.0450 0.0550 0.0600 0.0382 0.0205 0.0350 0.0600 0.5366 0.0139 0.0001 0.0173 0.0000 0.0600 0.0382 0.0205
447-AH 0.0000 0.0000 0.0250 0.0300 0.0300 0.0166 0.0141 0.0300 0.0300 0.8468 0.0013 0.0000 0.0134 0.0000 0.0300 0.0166 0.0141
448-AH 0.0000 0.0150 0.0200 0.0200 0.0200 0.0169 0.0060 0.0050 0.0200 0.3573 0.0112 0.0002 0.0046 0.0100 0.0200 0.0191 0.0023
449-AH 0.0000 0.0537 0.1500 0.1950 0.2600 0.1265 0.0789 0.1412 0.2600 0.6239 0.0622 0.0002 0.0716 0.0000 0.2600 0.1265 0.0789
450-AH 0.0000 0.0000 0.0100 0.0450 0.1550 0.0342 0.0512 0.0450 0.1550 1.4971 0.0029 0.0000 0.0391 0.0000 0.1000 0.0144 0.0205
237
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0080 0.0100 0.0120 0.0120 0.0088 0.0040 0.0040 0.0120 0.4516 0.0041 0.0001 0.0030 0.0060 0.0120 0.0105 0.0015
402-AH 0.0000 0.0270 0.0540 0.1020 0.1220 0.0595 0.0389 0.0750 0.1220 0.6547 0.0407 0.0007 0.0355 0.0000 0.1220 0.0595 0.0389
403-AH 0.0000 0.0260 0.0460 0.0665 0.0940 0.0459 0.0262 0.0405 0.0940 0.5702 0.0302 0.0007 0.0225 0.0000 0.0940 0.0459 0.0262
404-AH 0.0000 0.0020 0.0020 0.0020 0.0020 0.0018 0.0006 0.0000 0.0020 0.3279 0.0012 0.0001 0.0003 0.0020 0.0020 0.0020 0.0000
405-AH 0.0000 0.0175 0.0300 0.0400 0.0420 0.0265 0.0154 0.0225 0.0420 0.5812 0.0075 0.0001 0.0128 0.0000 0.0420 0.0265 0.0154
406-AH 0.0000 0.0100 0.0220 0.0300 0.0400 0.0193 0.0110 0.0200 0.0400 0.5702 0.0102 0.0001 0.0091 0.0000 0.0400 0.0193 0.0110
407-AH 0.0000 0.0120 0.0380 0.0440 0.0460 0.0310 0.0150 0.0320 0.0460 0.4844 0.0202 0.0002 0.0134 0.0000 0.0460 0.0310 0.0150
408-AH 0.0000 0.0335 0.0340 0.0360 0.0360 0.0318 0.0078 0.0025 0.0360 0.2453 0.0277 0.0007 0.0052 0.0300 0.0360 0.0348 0.0017
409-AH 0.0040 0.0340 0.0360 0.0380 0.0380 0.0336 0.0081 0.0040 0.0340 0.2419 0.0315 0.0263 0.0054 0.0320 0.0380 0.0368 0.0016
410-AH 0.0000 0.0860 0.0940 0.0940 0.0940 0.0841 0.0221 0.0080 0.0940 0.2622 0.0687 0.0007 0.0129 0.0800 0.0940 0.0910 0.0045
411-AH 0.0000 0.0140 0.0180 0.0200 0.0200 0.0150 0.0059 0.0060 0.0200 0.3922 0.0105 0.0002 0.0045 0.0080 0.0200 0.0170 0.0030
412-AH 0.0000 0.0080 0.0160 0.0265 0.0400 0.0170 0.0117 0.0185 0.0400 0.6883 0.0089 0.0001 0.0097 0.0000 0.0400 0.0170 0.0117
413-AH 0.0000 0.0060 0.0280 0.0300 0.0300 0.0210 0.0121 0.0240 0.0300 0.5765 0.0088 0.0001 0.0110 0.0000 0.0300 0.0210 0.0121
414-AH 0.0000 0.0040 0.0080 0.0080 0.0080 0.0064 0.0026 0.0040 0.0080 0.4033 0.0039 0.0001 0.0022 0.0000 0.0080 0.0064 0.0026
415-AH 0.0000 0.0075 0.0240 0.0830 0.1240 0.0442 0.0423 0.0755 0.1240 0.9562 0.0137 0.0001 0.0368 0.0000 0.1240 0.0442 0.0423
416-AH 0.0000 0.0580 0.0620 0.0660 0.0660 0.0568 0.0168 0.0080 0.0660 0.2957 0.0424 0.0004 0.0107 0.0480 0.0660 0.0626 0.0040
417-AH 0.0000 0.0240 0.0420 0.0725 0.1660 0.0540 0.0426 0.0485 0.1660 0.7901 0.0169 0.0001 0.0338 0.0000 0.1380 0.0508 0.0387
418-AH 0.0000 0.0235 0.0280 0.0280 0.0280 0.0220 0.0111 0.0045 0.0280 0.5027 0.0078 0.0001 0.0089 0.0180 0.0280 0.0275 0.0019
419-AH 0.0000 0.0140 0.0440 0.0460 0.0460 0.0329 0.0177 0.0320 0.0460 0.5384 0.0122 0.0001 0.0155 0.0000 0.0460 0.0329 0.0177
420-AH 0.0000 0.0150 0.0460 0.0800 0.0920 0.0462 0.0320 0.0650 0.0920 0.6928 0.0227 0.0002 0.0272 0.0000 0.0920 0.0462 0.0320
421-AH 0.0000 0.0080 0.0240 0.0240 0.0240 0.0170 0.0093 0.0160 0.0240 0.5442 0.0068 0.0001 0.0083 0.0000 0.0240 0.0170 0.0093
422-AH 0.0040 0.0215 0.0500 0.0540 0.0800 0.0417 0.0216 0.0325 0.0760 0.5183 0.0337 0.0241 0.0187 0.0040 0.0800 0.0417 0.0216
423-AH 0.0000 0.0000 0.0020 0.0020 0.0020 0.0013 0.0010 0.0020 0.0020 0.7714 0.0003 0.0000 0.0009 0.0000 0.0020 0.0013 0.0010
424-AH 0.0000 0.0000 0.0040 0.0080 0.0100 0.0042 0.0036 0.0080 0.0100 0.8602 0.0009 0.0000 0.0031 0.0000 0.0100 0.0042 0.0036
425-AH 0.0000 0.0100 0.0360 0.0580 0.0720 0.0338 0.0244 0.0480 0.0720 0.7226 0.0173 0.0004 0.0225 0.0000 0.0720 0.0338 0.0244
426-AH 0.0000 0.0640 0.1440 0.1760 0.2340 0.1262 0.0664 0.1120 0.2340 0.5259 0.0865 0.0007 0.0557 0.0000 0.2340 0.1262 0.0664
427-AH 0.0000 0.0080 0.0300 0.0320 0.0320 0.0199 0.0134 0.0240 0.0320 0.6749 0.0053 0.0001 0.0127 0.0000 0.0320 0.0199 0.0134
428-AH 0.0000 0.0075 0.0120 0.0145 0.0200 0.0112 0.0051 0.0070 0.0200 0.4592 0.0090 0.0007 0.0044 0.0000 0.0200 0.0112 0.0051
429-AH 0.0000 0.0155 0.0480 0.0860 0.1020 0.0519 0.0328 0.0705 0.1020 0.6314 0.0320 0.0004 0.0293 0.0000 0.1020 0.0519 0.0328
430-AH 0.0000 0.0120 0.0460 0.0525 0.0600 0.0353 0.0216 0.0405 0.0600 0.6133 0.0118 0.0001 0.0192 0.0000 0.0600 0.0353 0.0216
431-AH 0.0000 0.0040 0.0300 0.0340 0.0400 0.0220 0.0146 0.0300 0.0400 0.6633 0.0110 0.0002 0.0132 0.0000 0.0400 0.0220 0.0146
432-AH 0.0000 0.0040 0.0160 0.0440 0.0460 0.0232 0.0182 0.0400 0.0460 0.7857 0.0068 0.0001 0.0170 0.0000 0.0460 0.0232 0.0182
433-AH 0.0020 0.2145 0.4200 0.4780 0.4980 0.3449 0.1556 0.2635 0.4960 0.4510 0.2731 0.0813 0.1378 0.0020 0.4980 0.3449 0.1556
434-AH 0.0080 0.0905 0.1880 0.2180 0.2220 0.1487 0.0789 0.1275 0.2140 0.5302 0.1065 0.0502 0.0701 0.0080 0.2220 0.1487 0.0789
435-AH 0.0040 0.0790 0.1800 0.2080 0.2200 0.1470 0.0760 0.1290 0.2160 0.5170 0.1036 0.0433 0.0652 0.0040 0.2200 0.1470 0.0760
436-AH 0.0020 0.0365 0.0700 0.1055 0.1360 0.0699 0.0426 0.0690 0.1340 0.6094 0.0466 0.0166 0.0361 0.0020 0.1360 0.0699 0.0426
437-AH 0.0000 0.1705 0.2140 0.2925 0.3300 0.2028 0.1015 0.1220 0.3300 0.5002 0.0908 0.0001 0.0808 0.0000 0.3300 0.2028 0.1015
438-AH 0.0020 0.0475 0.0560 0.0580 0.0600 0.0481 0.0163 0.0105 0.0580 0.3397 0.0421 0.0265 0.0125 0.0340 0.0600 0.0551 0.0056
439-AH 0.0000 0.0060 0.0380 0.0665 0.0780 0.0362 0.0293 0.0605 0.0780 0.8086 0.0088 0.0001 0.0268 0.0000 0.0780 0.0362 0.0293
440-AH 0.0000 0.0060 0.0220 0.0320 0.0360 0.0191 0.0125 0.0260 0.0360 0.6574 0.0068 0.0001 0.0109 0.0000 0.0360 0.0191 0.0125
441-AH 0.0000 0.0060 0.0120 0.0160 0.0180 0.0106 0.0058 0.0100 0.0180 0.5484 0.0047 0.0001 0.0050 0.0000 0.0180 0.0106 0.0058
442-AH 0.0000 0.0160 0.0180 0.0180 0.0240 0.0160 0.0047 0.0020 0.0240 0.2955 0.0118 0.0002 0.0028 0.0140 0.0200 0.0173 0.0013
443-AH 0.0000 0.0065 0.0660 0.0825 0.0840 0.0501 0.0348 0.0760 0.0840 0.6943 0.0125 0.0001 0.0317 0.0000 0.0840 0.0501 0.0348
444-AH 0.0060 0.0305 0.0440 0.0500 0.0500 0.0396 0.0121 0.0195 0.0440 0.3043 0.0367 0.0313 0.0097 0.0060 0.0500 0.0396 0.0121
445-AH 0.0000 0.0040 0.0080 0.0080 0.0080 0.0057 0.0030 0.0040 0.0080 0.5351 0.0024 0.0001 0.0026 0.0000 0.0080 0.0057 0.0030
446-AH 0.0000 0.0140 0.0220 0.0240 0.0240 0.0182 0.0074 0.0100 0.0240 0.4098 0.0132 0.0004 0.0061 0.0000 0.0240 0.0182 0.0074
447-AH 0.0000 0.0000 0.0120 0.0120 0.0120 0.0068 0.0057 0.0120 0.0120 0.8333 0.0007 0.0000 0.0054 0.0000 0.0120 0.0068 0.0057
448-AH 0.0000 0.0080 0.0080 0.0080 0.0080 0.0072 0.0021 0.0000 0.0080 0.2870 0.0055 0.0002 0.0014 0.0080 0.0080 0.0080 0.0000
449-AH 0.0000 0.0380 0.0720 0.0965 0.1220 0.0679 0.0307 0.0585 0.1220 0.4530 0.0538 0.0007 0.0271 0.0000 0.1220 0.0679 0.0307
450-AH 0.0000 0.0020 0.0060 0.0260 0.0840 0.0196 0.0271 0.0240 0.0840 1.3798 0.0046 0.0001 0.0208 0.0000 0.0520 0.0085 0.0102
238
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2EN-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0050 0.0050 0.0060 0.0060 0.0047 0.0018 0.0010 0.0060 0.3913 0.0031 0.0001 0.0013 0.0040 0.0060 0.0055 0.0006
402-AH 0.0010 0.0268 0.0350 0.0570 0.0620 0.0387 0.0175 0.0302 0.0610 0.4526 0.0327 0.0201 0.0152 0.0010 0.0620 0.0387 0.0175
403-AH 0.0010 0.0200 0.0310 0.0450 0.0550 0.0307 0.0157 0.0250 0.0540 0.5125 0.0235 0.0117 0.0133 0.0010 0.0550 0.0307 0.0157
404-AH 0.0000 0.0010 0.0010 0.0010 0.0010 0.0010 0.0002 0.0000 0.0010 0.2085 0.0008 0.0002 0.0001 0.0010 0.0010 0.0010 0.0000
405-AH 0.0000 0.0097 0.0180 0.0202 0.0210 0.0144 0.0077 0.0105 0.0210 0.5342 0.0061 0.0001 0.0064 0.0000 0.0210 0.0144 0.0077
406-AH 0.0000 0.0060 0.0140 0.0170 0.0210 0.0121 0.0063 0.0110 0.0210 0.5222 0.0078 0.0002 0.0055 0.0000 0.0210 0.0121 0.0063
407-AH 0.0000 0.0150 0.0190 0.0230 0.0230 0.0180 0.0056 0.0080 0.0230 0.3109 0.0142 0.0004 0.0043 0.0090 0.0230 0.0188 0.0043
408-AH 0.0010 0.0170 0.0170 0.0180 0.0180 0.0164 0.0031 0.0010 0.0170 0.1880 0.0157 0.0133 0.0020 0.0160 0.0180 0.0176 0.0005
409-AH 0.0020 0.0180 0.0190 0.0190 0.0190 0.0175 0.0035 0.0010 0.0170 0.1977 0.0167 0.0144 0.0020 0.0170 0.0190 0.0186 0.0006
410-AH 0.0030 0.0460 0.0470 0.0470 0.0470 0.0437 0.0096 0.0010 0.0440 0.2206 0.0408 0.0315 0.0052 0.0450 0.0470 0.0468 0.0005
411-AH 0.0000 0.0070 0.0090 0.0100 0.0100 0.0081 0.0029 0.0030 0.0100 0.3521 0.0060 0.0002 0.0022 0.0030 0.0100 0.0089 0.0017
412-AH 0.0000 0.0068 0.0100 0.0175 0.0250 0.0115 0.0066 0.0108 0.0250 0.5730 0.0066 0.0001 0.0055 0.0000 0.0250 0.0115 0.0066
413-AH 0.0000 0.0040 0.0150 0.0150 0.0150 0.0109 0.0060 0.0110 0.0150 0.5483 0.0060 0.0002 0.0053 0.0000 0.0150 0.0109 0.0060
414-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0035 0.0012 0.0000 0.0040 0.3424 0.0023 0.0001 0.0008 0.0040 0.0040 0.0040 0.0000
415-AH 0.0010 0.0078 0.0180 0.0543 0.0690 0.0296 0.0245 0.0465 0.0680 0.8299 0.0169 0.0077 0.0228 0.0010 0.0690 0.0296 0.0245
416-AH 0.0000 0.0310 0.0320 0.0330 0.0330 0.0296 0.0079 0.0020 0.0330 0.2664 0.0229 0.0004 0.0046 0.0280 0.0330 0.0321 0.0013
417-AH 0.0000 0.0210 0.0300 0.0508 0.0890 0.0364 0.0256 0.0298 0.0890 0.7048 0.0134 0.0001 0.0212 0.0000 0.0890 0.0364 0.0256
418-AH 0.0000 0.0130 0.0140 0.0140 0.0140 0.0112 0.0053 0.0010 0.0140 0.4738 0.0051 0.0001 0.0042 0.0120 0.0140 0.0139 0.0003
419-AH 0.0000 0.0100 0.0230 0.0230 0.0230 0.0176 0.0085 0.0130 0.0230 0.4807 0.0079 0.0001 0.0072 0.0000 0.0230 0.0176 0.0085
420-AH 0.0000 0.0100 0.0290 0.0440 0.0460 0.0264 0.0158 0.0340 0.0460 0.5973 0.0154 0.0002 0.0136 0.0000 0.0460 0.0264 0.0158
421-AH 0.0000 0.0060 0.0120 0.0120 0.0120 0.0091 0.0044 0.0060 0.0120 0.4818 0.0041 0.0001 0.0037 0.0000 0.0120 0.0091 0.0044
422-AH 0.0040 0.0170 0.0290 0.0370 0.0530 0.0273 0.0127 0.0200 0.0490 0.4660 0.0233 0.0184 0.0104 0.0040 0.0530 0.0273 0.0127
423-AH 0.0000 0.0000 0.0010 0.0010 0.0010 0.0007 0.0005 0.0010 0.0010 0.6829 0.0002 0.0000 0.0004 0.0000 0.0010 0.0007 0.0005
424-AH 0.0000 0.0010 0.0030 0.0050 0.0050 0.0028 0.0019 0.0040 0.0050 0.6694 0.0010 0.0001 0.0016 0.0000 0.0050 0.0028 0.0019
425-AH 0.0000 0.0080 0.0210 0.0320 0.0370 0.0205 0.0123 0.0240 0.0370 0.5984 0.0129 0.0004 0.0110 0.0000 0.0370 0.0205 0.0123
426-AH 0.0020 0.0590 0.1060 0.1263 0.1540 0.0932 0.0437 0.0673 0.1520 0.4685 0.0735 0.0374 0.0363 0.0020 0.1540 0.0932 0.0437
427-AH 0.0000 0.0050 0.0150 0.0160 0.0160 0.0106 0.0064 0.0110 0.0160 0.6048 0.0033 0.0001 0.0058 0.0000 0.0160 0.0106 0.0064
428-AH 0.0000 0.0050 0.0070 0.0090 0.0100 0.0067 0.0027 0.0040 0.0100 0.4100 0.0055 0.0006 0.0023 0.0000 0.0100 0.0067 0.0027
429-AH 0.0000 0.0138 0.0360 0.0523 0.0560 0.0341 0.0182 0.0385 0.0560 0.5333 0.0231 0.0004 0.0156 0.0000 0.0560 0.0341 0.0182
430-AH 0.0000 0.0075 0.0230 0.0280 0.0310 0.0189 0.0110 0.0205 0.0310 0.5787 0.0078 0.0001 0.0095 0.0000 0.0310 0.0189 0.0110
431-AH 0.0000 0.0058 0.0170 0.0180 0.0200 0.0128 0.0070 0.0122 0.0200 0.5454 0.0089 0.0006 0.0062 0.0000 0.0200 0.0128 0.0070
432-AH 0.0000 0.0050 0.0160 0.0230 0.0230 0.0134 0.0089 0.0180 0.0230 0.6622 0.0067 0.0002 0.0081 0.0000 0.0230 0.0134 0.0089
433-AH 0.0020 0.1247 0.2390 0.2550 0.2550 0.1937 0.0759 0.1302 0.2530 0.3921 0.1629 0.0679 0.0662 0.0020 0.2550 0.1937 0.0759
434-AH 0.0050 0.0678 0.0990 0.1100 0.1110 0.0821 0.0360 0.0422 0.1060 0.4390 0.0630 0.0314 0.0289 0.0050 0.1110 0.0821 0.0360
435-AH 0.0060 0.0477 0.1030 0.1090 0.1140 0.0818 0.0373 0.0612 0.1080 0.4561 0.0646 0.0372 0.0318 0.0060 0.1140 0.0818 0.0373
436-AH 0.0010 0.0297 0.0470 0.0650 0.0770 0.0444 0.0241 0.0352 0.0760 0.5433 0.0326 0.0153 0.0207 0.0010 0.0770 0.0444 0.0241
437-AH 0.0000 0.1280 0.1470 0.1650 0.1690 0.1274 0.0539 0.0370 0.1690 0.4229 0.0671 0.0002 0.0407 0.0770 0.1690 0.1479 0.0230
438-AH 0.0020 0.0268 0.0290 0.0300 0.0300 0.0256 0.0079 0.0032 0.0280 0.3085 0.0232 0.0180 0.0057 0.0230 0.0300 0.0290 0.0016
439-AH 0.0000 0.0040 0.0250 0.0470 0.0520 0.0248 0.0194 0.0430 0.0520 0.7851 0.0102 0.0001 0.0177 0.0000 0.0520 0.0248 0.0194
440-AH 0.0000 0.0060 0.0130 0.0170 0.0180 0.0114 0.0060 0.0110 0.0180 0.5270 0.0068 0.0002 0.0051 0.0000 0.0180 0.0114 0.0060
441-AH 0.0000 0.0040 0.0070 0.0080 0.0090 0.0059 0.0029 0.0040 0.0090 0.4853 0.0031 0.0001 0.0024 0.0000 0.0090 0.0059 0.0029
442-AH 0.0000 0.0080 0.0090 0.0090 0.0120 0.0082 0.0023 0.0010 0.0120 0.2843 0.0063 0.0002 0.0013 0.0070 0.0100 0.0087 0.0005
443-AH 0.0000 0.0050 0.0380 0.0420 0.0420 0.0273 0.0171 0.0370 0.0420 0.6253 0.0106 0.0001 0.0150 0.0000 0.0420 0.0273 0.0171
444-AH 0.0030 0.0180 0.0240 0.0250 0.0250 0.0215 0.0051 0.0070 0.0220 0.2390 0.0205 0.0185 0.0040 0.0120 0.0250 0.0224 0.0036
445-AH 0.0000 0.0020 0.0040 0.0040 0.0040 0.0030 0.0015 0.0020 0.0040 0.4957 0.0016 0.0001 0.0012 0.0000 0.0040 0.0030 0.0015
446-AH 0.0000 0.0090 0.0120 0.0120 0.0120 0.0100 0.0031 0.0030 0.0120 0.3145 0.0084 0.0007 0.0024 0.0050 0.0120 0.0107 0.0020
447-AH 0.0000 0.0000 0.0060 0.0060 0.0060 0.0039 0.0026 0.0060 0.0060 0.6653 0.0010 0.0000 0.0023 0.0000 0.0060 0.0039 0.0026
448-AH 0.0000 0.0040 0.0040 0.0040 0.0040 0.0037 0.0008 0.0000 0.0040 0.2221 0.0032 0.0003 0.0005 0.0040 0.0040 0.0040 0.0000
449-AH 0.0020 0.0278 0.0440 0.0510 0.0620 0.0398 0.0137 0.0232 0.0600 0.3432 0.0364 0.0286 0.0119 0.0020 0.0620 0.0398 0.0137
450-AH 0.0000 0.0020 0.0070 0.0170 0.0530 0.0135 0.0165 0.0150 0.0530 1.2214 0.0053 0.0002 0.0126 0.0000 0.0340 0.0068 0.0065
239
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Ad−Hoc Bilingual Hungarian Task Top 5 Participants − Standard Recall Levels vs Mean Interpolated Precision
100%
jhu−apl [Experiment APLBIENHUTD5; MAP 29.63%; Pooled]
90%
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Hungarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
jhu−apl [Experiment APLBIENHUTD5; MAP 29.63%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Bilingual Hungarian Task Top 5 Participants − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
jhu−apl [Experiment APLBIENHUTD5; MAP 29.63%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
240
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Ad−Hoc Bilingual Hungarian Task − Box Plot of the Topics
jhu−apl [Experiment APLBIENHUTD5; MAP 29.63%; Pooled]
Experiments
jhu−apl [Experiment APLBIENHUTD4; MAP 29.00%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Average Precision
241
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
10.2455/TUKEY_T_TEST.E6EAB6F42D547C60591274B2F2A91581
Ad−Hoc Bilingual Hungarian Task − Tukey T test with "top group" highlighted
APLBIENHUTD5
Experiments
APLBIENHUTD4
0.48 0.49 0.5 0.51 0.52 0.53 0.54 0.55 0.56
arcsin(sqrt(Average Precsion))
242
243
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Ad−Hoc Bilingual Hungarian Task Top 5 Participants − Retrieved documents vs Mean Precision
100%
jhu−apl [Experiment APLBIENHUTD5; R−Prec 28.70%; Pooled]
90%
80%
70%
60%
Precision
50%
40%
30%
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Hungarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
jhu−apl [Experiment APLBIENHUTD5; R−Prec 28.70%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
Ad−Hoc Bilingual Hungarian Task Top 5 Participants − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
jhu−apl [Experiment APLBIENHUTD5; R−Prec 28.70%; Pooled]
0.8
0.6
0.4
0.2
Difference
0
−0.2
−0.4
−0.6
−0.8
−1
426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
244
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Ad−Hoc Bilingual Hungarian Task − Box Plot of the Topics
jhu−apl [Experiment APLBIENHUTD4; R−Prec 29.00%; Pooled]
Experiments
jhu−apl [Experiment APLBIENHUTD5; R−Prec 28.70%; Pooled]
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
R−Precision
245
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Ad−Hoc Bilingual Hungarian Task − Tukey T test with "top group" highlighted
APLBIENHUTD4
Experiments
APLBIENHUTD5
0.45 0.46 0.47 0.48 0.49 0.5 0.51 0.52
arcsin(sqrt(R−Precision))
246
247
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Number of relevant retrieved documents
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 13.00 13.00 13.50 14.00 14.00 13.50 0.71 1.00 1.00 0.05 13.49 13.48 0.50 13.00 14.00 13.50 0.71
402-AH 20.00 20.00 20.00 20.00 20.00 20.00 0.00 0.00 0.00 0.00 20.00 20.00 0.00 20.00 20.00 20.00 0.00
403-AH 5.00 5.00 7.50 10.00 10.00 7.50 3.54 5.00 5.00 0.47 7.07 6.67 2.50 5.00 10.00 7.50 3.54
404-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
405-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
406-AH 0.00 0.00 0.50 1.00 1.00 0.50 0.71 1.00 1.00 1.41 0.00 0.00 0.50 0.00 1.00 0.50 0.71
407-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00
408-AH 20.00 20.00 24.00 28.00 28.00 24.00 5.66 8.00 8.00 0.24 23.66 23.33 4.00 20.00 28.00 24.00 5.66
409-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
410-AH 22.00 22.00 22.00 22.00 22.00 22.00 0.00 0.00 0.00 0.00 22.00 22.00 0.00 22.00 22.00 22.00 0.00
411-AH 1.00 1.00 1.00 1.00 1.00 1.00 0.00 0.00 0.00 0.00 1.00 1.00 0.00 1.00 1.00 1.00 0.00
412-AH 11.00 11.00 16.00 21.00 21.00 16.00 7.07 10.00 10.00 0.44 15.20 14.44 5.00 11.00 21.00 16.00 7.07
413-AH 24.00 24.00 24.00 24.00 24.00 24.00 0.00 0.00 0.00 0.00 24.00 24.00 0.00 24.00 24.00 24.00 0.00
414-AH 3.00 3.00 3.00 3.00 3.00 3.00 0.00 0.00 0.00 0.00 3.00 3.00 0.00 3.00 3.00 3.00 0.00
415-AH 61.00 61.00 61.00 61.00 61.00 61.00 0.00 0.00 0.00 0.00 61.00 61.00 0.00 61.00 61.00 61.00 0.00
416-AH 11.00 11.00 11.00 11.00 11.00 11.00 0.00 0.00 0.00 0.00 11.00 11.00 0.00 11.00 11.00 11.00 0.00
417-AH 11.00 11.00 11.00 11.00 11.00 11.00 0.00 0.00 0.00 0.00 11.00 11.00 0.00 11.00 11.00 11.00 0.00
418-AH 19.00 19.00 19.00 19.00 19.00 19.00 0.00 0.00 0.00 0.00 19.00 19.00 0.00 19.00 19.00 19.00 0.00
419-AH 2.00 2.00 2.00 2.00 2.00 2.00 0.00 0.00 0.00 0.00 2.00 2.00 0.00 2.00 2.00 2.00 0.00
420-AH 21.00 21.00 21.00 21.00 21.00 21.00 0.00 0.00 0.00 0.00 21.00 21.00 0.00 21.00 21.00 21.00 0.00
421-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
422-AH 0.00 0.00 5.00 10.00 10.00 5.00 7.07 10.00 10.00 1.41 0.01 0.00 5.00 0.00 10.00 5.00 7.07
423-AH 5.00 5.00 5.00 5.00 5.00 5.00 0.00 0.00 0.00 0.00 5.00 5.00 0.00 5.00 5.00 5.00 0.00
424-AH 17.00 17.00 17.00 17.00 17.00 17.00 0.00 0.00 0.00 0.00 17.00 17.00 0.00 17.00 17.00 17.00 0.00
425-AH 6.00 6.00 6.50 7.00 7.00 6.50 0.71 1.00 1.00 0.11 6.48 6.46 0.50 6.00 7.00 6.50 0.71
426-AH 8.00 8.00 8.00 8.00 8.00 8.00 0.00 0.00 0.00 0.00 8.00 8.00 0.00 8.00 8.00 8.00 0.00
427-AH 14.00 14.00 14.00 14.00 14.00 14.00 0.00 0.00 0.00 0.00 14.00 14.00 0.00 14.00 14.00 14.00 0.00
428-AH 12.00 12.00 12.50 13.00 13.00 12.50 0.71 1.00 1.00 0.06 12.49 12.48 0.50 12.00 13.00 12.50 0.71
429-AH 8.00 8.00 9.50 11.00 11.00 9.50 2.12 3.00 3.00 0.22 9.38 9.26 1.50 8.00 11.00 9.50 2.12
430-AH 4.00 4.00 6.00 8.00 8.00 6.00 2.83 4.00 4.00 0.47 5.66 5.33 2.00 4.00 8.00 6.00 2.83
431-AH 32.00 32.00 32.50 33.00 33.00 32.50 0.71 1.00 1.00 0.02 32.50 32.49 0.50 32.00 33.00 32.50 0.71
432-AH 12.00 12.00 12.00 12.00 12.00 12.00 0.00 0.00 0.00 0.00 12.00 12.00 0.00 12.00 12.00 12.00 0.00
433-AH 42.00 42.00 42.50 43.00 43.00 42.50 0.71 1.00 1.00 0.02 42.50 42.49 0.50 42.00 43.00 42.50 0.71
434-AH 24.00 24.00 24.00 24.00 24.00 24.00 0.00 0.00 0.00 0.00 24.00 24.00 0.00 24.00 24.00 24.00 0.00
435-AH 29.00 29.00 29.50 30.00 30.00 29.50 0.71 1.00 1.00 0.02 29.50 29.49 0.50 29.00 30.00 29.50 0.71
436-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
437-AH 26.00 26.00 26.00 26.00 26.00 26.00 0.00 0.00 0.00 0.00 26.00 26.00 0.00 26.00 26.00 26.00 0.00
438-AH 11.00 11.00 13.50 16.00 16.00 13.50 3.54 5.00 5.00 0.26 13.27 13.04 2.50 11.00 16.00 13.50 3.54
439-AH 7.00 7.00 7.00 7.00 7.00 7.00 0.00 0.00 0.00 0.00 7.00 7.00 0.00 7.00 7.00 7.00 0.00
440-AH 13.00 13.00 13.00 13.00 13.00 13.00 0.00 0.00 0.00 0.00 13.00 13.00 0.00 13.00 13.00 13.00 0.00
441-AH 15.00 15.00 15.00 15.00 15.00 15.00 0.00 0.00 0.00 0.00 15.00 15.00 0.00 15.00 15.00 15.00 0.00
442-AH 9.00 9.00 9.00 9.00 9.00 9.00 0.00 0.00 0.00 0.00 9.00 9.00 0.00 9.00 9.00 9.00 0.00
443-AH 17.00 17.00 21.00 25.00 25.00 21.00 5.66 8.00 8.00 0.27 20.62 20.24 4.00 17.00 25.00 21.00 5.66
444-AH 16.00 16.00 16.00 16.00 16.00 16.00 0.00 0.00 0.00 0.00 16.00 16.00 0.00 16.00 16.00 16.00 0.00
445-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
446-AH 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 N/D 0.00 0.00 0.00 0.00 0.00 0.00 0.00
447-AH 23.00 23.00 23.00 23.00 23.00 23.00 0.00 0.00 0.00 0.00 23.00 23.00 0.00 23.00 23.00 23.00 0.00
448-AH 4.00 4.00 4.00 4.00 4.00 4.00 0.00 0.00 0.00 0.00 4.00 4.00 0.00 4.00 4.00 4.00 0.00
449-AH 27.00 27.00 27.00 27.00 27.00 27.00 0.00 0.00 0.00 0.00 27.00 27.00 0.00 27.00 27.00 27.00 0.00
450-AH 21.00 21.00 23.50 26.00 26.00 23.50 3.54 5.00 5.00 0.15 23.37 23.23 2.50 21.00 26.00 23.50 3.54
248
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Average Precsion
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0102 0.0102 0.0164 0.0226 0.0226 0.0164 0.0088 0.0124 0.0124 0.5347 0.0152 0.0140 0.0062 0.0102 0.0226 0.0164 0.0088
402-AH 0.3875 0.3875 0.4195 0.4515 0.4515 0.4195 0.0452 0.0640 0.0640 0.1078 0.4183 0.4171 0.0320 0.3875 0.4515 0.4195 0.0452
403-AH 0.0064 0.0064 0.0632 0.1200 0.1200 0.0632 0.0804 0.1137 0.1137 1.2716 0.0277 0.0121 0.0568 0.0064 0.1200 0.0632 0.0804
404-AH 0.1702 0.1702 0.2669 0.3635 0.3635 0.2669 0.1367 0.1934 0.1934 0.5124 0.2487 0.2318 0.0967 0.1702 0.3635 0.2669 0.1367
405-AH 0.4417 0.4417 0.5065 0.5714 0.5714 0.5065 0.0918 0.1298 0.1298 0.1811 0.5024 0.4982 0.0649 0.4417 0.5714 0.5065 0.0918
406-AH 0.0000 0.0000 0.0000 0.0001 0.0001 0.0000 0.0000 0.0001 0.0001 1.4142 0.0000 0.0000 0.0000 0.0000 0.0001 0.0000 0.0000
407-AH 0.1684 0.1684 0.5145 0.8606 0.8606 0.5145 0.4895 0.6922 0.6922 0.9514 0.3807 0.2816 0.3461 0.1684 0.8606 0.5145 0.4895
408-AH 0.1020 0.1020 0.1393 0.1766 0.1766 0.1393 0.0527 0.0746 0.0746 0.3785 0.1343 0.1294 0.0373 0.1020 0.1766 0.1393 0.0527
409-AH 0.2647 0.2647 0.3222 0.3797 0.3797 0.3222 0.0813 0.1150 0.1150 0.2524 0.3170 0.3119 0.0575 0.2647 0.3797 0.3222 0.0813
410-AH 0.7199 0.7199 0.7600 0.8001 0.8001 0.7600 0.0567 0.0802 0.0802 0.0746 0.7590 0.7579 0.0401 0.7199 0.8001 0.7600 0.0567
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0178 0.0178 0.0400 0.0622 0.0622 0.0400 0.0314 0.0444 0.0444 0.7844 0.0333 0.0277 0.0222 0.0178 0.0622 0.0400 0.0314
413-AH 0.4709 0.4709 0.4761 0.4812 0.4812 0.4761 0.0073 0.0103 0.0103 0.0154 0.4760 0.4760 0.0052 0.4709 0.4812 0.4761 0.0073
414-AH 0.0242 0.0242 0.1431 0.2619 0.2619 0.1431 0.1681 0.2377 0.2377 1.1748 0.0796 0.0443 0.1188 0.0242 0.2619 0.1431 0.1681
415-AH 0.1840 0.1840 0.1853 0.1866 0.1866 0.1853 0.0018 0.0026 0.0026 0.0098 0.1853 0.1853 0.0013 0.1840 0.1866 0.1853 0.0018
416-AH 0.3820 0.3820 0.4111 0.4402 0.4402 0.4111 0.0412 0.0582 0.0582 0.1001 0.4101 0.4090 0.0291 0.3820 0.4402 0.4111 0.0412
417-AH 0.0350 0.0350 0.0441 0.0532 0.0532 0.0441 0.0129 0.0182 0.0182 0.2915 0.0432 0.0423 0.0091 0.0350 0.0532 0.0441 0.0129
418-AH 0.5037 0.5037 0.5614 0.6192 0.6192 0.5614 0.0817 0.1155 0.1155 0.1455 0.5584 0.5555 0.0578 0.5037 0.6192 0.5614 0.0817
419-AH 0.0073 0.0073 0.0197 0.0322 0.0322 0.0197 0.0176 0.0249 0.0249 0.8910 0.0153 0.0119 0.0124 0.0073 0.0322 0.0197 0.0176
420-AH 0.3475 0.3475 0.3520 0.3565 0.3565 0.3520 0.0064 0.0091 0.0091 0.0182 0.3520 0.3519 0.0045 0.3475 0.3565 0.3520 0.0064
421-AH 0.4678 0.4678 0.4753 0.4828 0.4828 0.4753 0.0106 0.0150 0.0150 0.0224 0.4753 0.4752 0.0075 0.4678 0.4828 0.4753 0.0106
422-AH 0.0000 0.0000 0.0010 0.0020 0.0020 0.0010 0.0014 0.0020 0.0020 1.4142 0.0001 0.0000 0.0010 0.0000 0.0020 0.0010 0.0014
423-AH 0.2049 0.2049 0.2135 0.2221 0.2221 0.2135 0.0121 0.0171 0.0171 0.0568 0.2133 0.2131 0.0086 0.2049 0.2221 0.2135 0.0121
424-AH 0.2577 0.2577 0.3081 0.3585 0.3585 0.3081 0.0713 0.1008 0.1008 0.2314 0.3039 0.2999 0.0504 0.2577 0.3585 0.3081 0.0713
425-AH 0.0200 0.0200 0.0327 0.0455 0.0455 0.0327 0.0180 0.0255 0.0255 0.5510 0.0301 0.0278 0.0128 0.0200 0.0455 0.0327 0.0180
426-AH 0.0235 0.0235 0.0246 0.0257 0.0257 0.0246 0.0015 0.0022 0.0022 0.0621 0.0246 0.0246 0.0011 0.0235 0.0257 0.0246 0.0015
427-AH 0.2226 0.2226 0.2242 0.2258 0.2258 0.2242 0.0023 0.0032 0.0032 0.0101 0.2242 0.2242 0.0016 0.2226 0.2258 0.2242 0.0023
428-AH 0.0391 0.0391 0.0462 0.0534 0.0534 0.0462 0.0102 0.0144 0.0144 0.2199 0.0457 0.0451 0.0072 0.0391 0.0534 0.0462 0.0102
429-AH 0.0661 0.0661 0.0762 0.0862 0.0862 0.0762 0.0142 0.0201 0.0201 0.1868 0.0755 0.0748 0.0101 0.0661 0.0862 0.0762 0.0142
430-AH 0.0063 0.0063 0.0260 0.0457 0.0457 0.0260 0.0279 0.0394 0.0394 1.0696 0.0170 0.0111 0.0197 0.0063 0.0457 0.0260 0.0279
431-AH 0.4716 0.4716 0.4920 0.5124 0.5124 0.4920 0.0288 0.0407 0.0407 0.0585 0.4916 0.4912 0.0204 0.4716 0.5124 0.4920 0.0288
432-AH 0.3235 0.3235 0.3314 0.3394 0.3394 0.3314 0.0113 0.0160 0.0160 0.0340 0.3313 0.3312 0.0080 0.3235 0.3394 0.3314 0.0113
433-AH 0.5340 0.5340 0.5833 0.6325 0.6325 0.5833 0.0696 0.0984 0.0984 0.1194 0.5812 0.5791 0.0492 0.5340 0.6325 0.5833 0.0696
434-AH 0.9286 0.9286 0.9327 0.9367 0.9367 0.9327 0.0058 0.0082 0.0082 0.0062 0.9327 0.9327 0.0041 0.9286 0.9367 0.9327 0.0058
435-AH 0.1785 0.1785 0.1960 0.2134 0.2134 0.1960 0.0246 0.0348 0.0348 0.1257 0.1952 0.1944 0.0174 0.1785 0.2134 0.1960 0.0246
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.6192 0.6192 0.6277 0.6363 0.6363 0.6277 0.0120 0.0170 0.0170 0.0192 0.6277 0.6276 0.0085 0.6192 0.6363 0.6277 0.0120
438-AH 0.0330 0.0330 0.0520 0.0711 0.0711 0.0520 0.0269 0.0380 0.0380 0.5168 0.0484 0.0451 0.0190 0.0330 0.0711 0.0520 0.0269
439-AH 0.0092 0.0092 0.0267 0.0443 0.0443 0.0267 0.0248 0.0350 0.0350 0.9256 0.0202 0.0153 0.0175 0.0092 0.0443 0.0267 0.0248
440-AH 0.1144 0.1144 0.2267 0.3390 0.3390 0.2267 0.1588 0.2246 0.2246 0.7004 0.1970 0.1711 0.1123 0.1144 0.3390 0.2267 0.1588
441-AH 0.7087 0.7087 0.7113 0.7138 0.7138 0.7113 0.0037 0.0052 0.0052 0.0051 0.7113 0.7112 0.0026 0.7087 0.7138 0.7113 0.0037
442-AH 0.8005 0.8005 0.8133 0.8260 0.8260 0.8133 0.0181 0.0256 0.0256 0.0222 0.8132 0.8131 0.0128 0.8005 0.8260 0.8133 0.0181
443-AH 0.0083 0.0083 0.0231 0.0379 0.0379 0.0231 0.0210 0.0297 0.0297 0.9085 0.0177 0.0136 0.0148 0.0083 0.0379 0.0231 0.0210
444-AH 0.2664 0.2664 0.2856 0.3048 0.3048 0.2856 0.0271 0.0383 0.0383 0.0949 0.2849 0.2843 0.0192 0.2664 0.3048 0.2856 0.0271
445-AH 0.0555 0.0555 0.0598 0.0642 0.0642 0.0598 0.0061 0.0086 0.0086 0.1020 0.0597 0.0595 0.0043 0.0555 0.0642 0.0598 0.0061
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8536 0.8536 0.9000 0.9464 0.9464 0.9000 0.0656 0.0928 0.0928 0.0729 0.8988 0.8976 0.0464 0.8536 0.9464 0.9000 0.0656
448-AH 0.7845 0.7845 0.7890 0.7935 0.7935 0.7890 0.0064 0.0090 0.0090 0.0081 0.7890 0.7890 0.0045 0.7845 0.7935 0.7890 0.0064
449-AH 0.5286 0.5286 0.6376 0.7466 0.7466 0.6376 0.1542 0.2180 0.2180 0.2418 0.6282 0.6190 0.1090 0.5286 0.7466 0.6376 0.1542
450-AH 0.2057 0.2057 0.2151 0.2245 0.2245 0.2151 0.0133 0.0188 0.0188 0.0617 0.2149 0.2147 0.0094 0.2057 0.2245 0.2151 0.0133
249
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for R-Precision
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0345 0.0345 0.0345 0.0345 0.0345 0.0345 0.0000 0.0000 0.0000 0.0000 0.0345 0.0345 0.0000 0.0345 0.0345 0.0345 0.0000
402-AH 0.4286 0.4286 0.4286 0.4286 0.4286 0.4286 0.0000 0.0000 0.0000 0.0000 0.4286 0.4286 0.0000 0.4286 0.4286 0.4286 0.0000
403-AH 0.0000 0.0000 0.0417 0.0833 0.0833 0.0417 0.0589 0.0833 0.0833 1.4142 0.0009 0.0000 0.0417 0.0000 0.0833 0.0417 0.0589
404-AH 0.2222 0.2222 0.2778 0.3333 0.3333 0.2778 0.0786 0.1111 0.1111 0.2828 0.2722 0.2667 0.0556 0.2222 0.3333 0.2778 0.0786
405-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.2500 0.2500 0.5000 0.7500 0.7500 0.5000 0.3536 0.5000 0.5000 0.7071 0.4330 0.3750 0.2500 0.2500 0.7500 0.5000 0.3536
408-AH 0.0968 0.0968 0.1452 0.1935 0.1935 0.1452 0.0684 0.0968 0.0968 0.4714 0.1369 0.1290 0.0484 0.0968 0.1935 0.1452 0.0684
409-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
410-AH 0.7727 0.7727 0.7727 0.7727 0.7727 0.7727 0.0000 0.0000 0.0000 0.0000 0.7727 0.7727 0.0000 0.7727 0.7727 0.7727 0.0000
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0541 0.0541 0.1081 0.1622 0.1622 0.1081 0.0764 0.1081 0.1081 0.7071 0.0936 0.0811 0.0541 0.0541 0.1622 0.1081 0.0764
413-AH 0.4583 0.4583 0.4792 0.5000 0.5000 0.4792 0.0295 0.0417 0.0417 0.0615 0.4787 0.4783 0.0208 0.4583 0.5000 0.4792 0.0295
414-AH 0.0000 0.0000 0.1250 0.2500 0.2500 0.1250 0.1768 0.2500 0.2500 1.4142 0.0016 0.0000 0.1250 0.0000 0.2500 0.1250 0.1768
415-AH 0.1667 0.1667 0.1667 0.1667 0.1667 0.1667 0.0000 0.0000 0.0000 0.0000 0.1667 0.1667 0.0000 0.1667 0.1667 0.1667 0.0000
416-AH 0.4545 0.4545 0.4545 0.4545 0.4545 0.4545 0.0000 0.0000 0.0000 0.0000 0.4545 0.4545 0.0000 0.4545 0.4545 0.4545 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.5263 0.5263 0.5789 0.6316 0.6316 0.5789 0.0744 0.1053 0.1053 0.1286 0.5766 0.5742 0.0526 0.5263 0.6316 0.5789 0.0744
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.3333 0.3333 0.3571 0.3810 0.3810 0.3571 0.0337 0.0476 0.0476 0.0943 0.3563 0.3556 0.0238 0.3333 0.3810 0.3571 0.0337
421-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
424-AH 0.2778 0.2778 0.3056 0.3333 0.3333 0.3056 0.0393 0.0556 0.0556 0.1286 0.3043 0.3030 0.0278 0.2778 0.3333 0.3056 0.0393
425-AH 0.0714 0.0714 0.1071 0.1429 0.1429 0.1071 0.0505 0.0714 0.0714 0.4714 0.1010 0.0952 0.0357 0.0714 0.1429 0.1071 0.0505
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.2857 0.2857 0.2857 0.2857 0.2857 0.2857 0.0000 0.0000 0.0000 0.0000 0.2857 0.2857 0.0000 0.2857 0.2857 0.2857 0.0000
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.1538 0.1538 0.1538 0.1538 0.1538 0.1538 0.0000 0.0000 0.0000 0.0000 0.1538 0.1538 0.0000 0.1538 0.1538 0.1538 0.0000
430-AH 0.0000 0.0000 0.0556 0.1111 0.1111 0.0556 0.0786 0.1111 0.1111 1.4142 0.0011 0.0000 0.0556 0.0000 0.1111 0.0556 0.0786
431-AH 0.5758 0.5758 0.6061 0.6364 0.6364 0.6061 0.0429 0.0606 0.0606 0.0707 0.6053 0.6045 0.0303 0.5758 0.6364 0.6061 0.0429
432-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
433-AH 0.4651 0.4651 0.5233 0.5814 0.5814 0.5233 0.0822 0.1163 0.1163 0.1571 0.5200 0.5168 0.0581 0.4651 0.5814 0.5233 0.0822
434-AH 0.8333 0.8333 0.8542 0.8750 0.8750 0.8542 0.0295 0.0417 0.0417 0.0345 0.8539 0.8537 0.0208 0.8333 0.8750 0.8542 0.0295
435-AH 0.2333 0.2333 0.2500 0.2667 0.2667 0.2500 0.0236 0.0333 0.0333 0.0943 0.2494 0.2489 0.0167 0.2333 0.2667 0.2500 0.0236
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.5769 0.5769 0.5962 0.6154 0.6154 0.5962 0.0272 0.0385 0.0385 0.0456 0.5958 0.5955 0.0192 0.5769 0.6154 0.5962 0.0272
438-AH 0.0882 0.0882 0.1029 0.1176 0.1176 0.1029 0.0208 0.0294 0.0294 0.2020 0.1019 0.1008 0.0147 0.0882 0.1176 0.1029 0.0208
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0769 0.0769 0.1923 0.3077 0.3077 0.1923 0.1632 0.2308 0.2308 0.8485 0.1538 0.1231 0.1154 0.0769 0.3077 0.1923 0.1632
441-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
442-AH 0.7778 0.7778 0.8333 0.8889 0.8889 0.8333 0.0786 0.1111 0.1111 0.0943 0.8315 0.8296 0.0556 0.7778 0.8889 0.8333 0.0786
443-AH 0.0000 0.0000 0.0185 0.0370 0.0370 0.0185 0.0262 0.0370 0.0370 1.4142 0.0006 0.0000 0.0185 0.0000 0.0370 0.0185 0.0262
444-AH 0.3750 0.3750 0.4062 0.4375 0.4375 0.4062 0.0442 0.0625 0.0625 0.1088 0.4050 0.4038 0.0312 0.3750 0.4375 0.4062 0.0442
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8696 0.8696 0.8696 0.8696 0.8696 0.8696 0.0000 0.0000 0.0000 0.0000 0.8696 0.8696 0.0000 0.8696 0.8696 0.8696 0.0000
448-AH 0.7500 0.7500 0.7500 0.7500 0.7500 0.7500 0.0000 0.0000 0.0000 0.0000 0.7500 0.7500 0.0000 0.7500 0.7500 0.7500 0.0000
449-AH 0.4815 0.4815 0.5926 0.7037 0.7037 0.5926 0.1571 0.2222 0.2222 0.2652 0.5821 0.5718 0.1111 0.4815 0.7037 0.5926 0.1571
450-AH 0.2692 0.2692 0.2692 0.2692 0.2692 0.2692 0.0000 0.0000 0.0000 0.0000 0.2692 0.2692 0.0000 0.2692 0.2692 0.2692 0.0000
250
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Binary Preference
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0190 0.0190 0.0238 0.0285 0.0285 0.0238 0.0067 0.0095 0.0095 0.2828 0.0233 0.0228 0.0048 0.0190 0.0285 0.0238 0.0067
402-AH 0.3764 0.3764 0.3957 0.4150 0.4150 0.3957 0.0273 0.0385 0.0385 0.0689 0.3952 0.3948 0.0193 0.3764 0.4150 0.3957 0.0273
403-AH 0.0000 0.0000 0.0417 0.0833 0.0833 0.0417 0.0589 0.0833 0.0833 1.4142 0.0009 0.0000 0.0417 0.0000 0.0833 0.0417 0.0589
404-AH 0.1481 0.1481 0.2346 0.3210 0.3210 0.2346 0.1222 0.1728 0.1728 0.5210 0.2181 0.2027 0.0864 0.1481 0.3210 0.2346 0.1222
405-AH 0.3750 0.3750 0.4062 0.4375 0.4375 0.4062 0.0442 0.0625 0.0625 0.1088 0.4050 0.4038 0.0312 0.3750 0.4375 0.4062 0.0442
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1562 0.1562 0.4688 0.7812 0.7812 0.4688 0.4419 0.6250 0.6250 0.9428 0.3494 0.2604 0.3125 0.1562 0.7812 0.4688 0.4419
408-AH 0.0905 0.0905 0.1243 0.1582 0.1582 0.1243 0.0478 0.0676 0.0676 0.3846 0.1197 0.1152 0.0338 0.0905 0.1582 0.1243 0.0478
409-AH 0.1875 0.1875 0.2188 0.2500 0.2500 0.2188 0.0442 0.0625 0.0625 0.2020 0.2165 0.2143 0.0312 0.1875 0.2500 0.2188 0.0442
410-AH 0.7417 0.7417 0.7665 0.7913 0.7913 0.7665 0.0351 0.0496 0.0496 0.0457 0.7661 0.7657 0.0248 0.7417 0.7913 0.7665 0.0351
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.0314 0.0314 0.0657 0.1001 0.1001 0.0657 0.0486 0.0687 0.0687 0.7385 0.0561 0.0478 0.0343 0.0314 0.1001 0.0657 0.0486
413-AH 0.4514 0.4514 0.4575 0.4635 0.4635 0.4575 0.0086 0.0122 0.0122 0.0188 0.4574 0.4574 0.0061 0.4514 0.4635 0.4575 0.0086
414-AH 0.0000 0.0000 0.1250 0.2500 0.2500 0.1250 0.1768 0.2500 0.2500 1.4142 0.0016 0.0000 0.1250 0.0000 0.2500 0.1250 0.1768
415-AH 0.0781 0.0781 0.0823 0.0865 0.0865 0.0823 0.0060 0.0085 0.0085 0.0730 0.0822 0.0821 0.0042 0.0781 0.0865 0.0823 0.0060
416-AH 0.3554 0.3554 0.3884 0.4215 0.4215 0.3884 0.0468 0.0661 0.0661 0.1204 0.3870 0.3856 0.0331 0.3554 0.4215 0.3884 0.0468
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.4875 0.4875 0.5319 0.5762 0.5762 0.5319 0.0627 0.0886 0.0886 0.1179 0.5300 0.5282 0.0443 0.4875 0.5762 0.5319 0.0627
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.2857 0.2857 0.3027 0.3197 0.3197 0.3027 0.0241 0.0340 0.0340 0.0795 0.3022 0.3018 0.0170 0.2857 0.3197 0.3027 0.0241
421-AH 0.3457 0.3457 0.3642 0.3827 0.3827 0.3642 0.0262 0.0370 0.0370 0.0719 0.3637 0.3633 0.0185 0.3457 0.3827 0.3642 0.0262
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.0400 0.0800 0.0800 0.0400 0.0566 0.0800 0.0800 1.4142 0.0009 0.0000 0.0400 0.0000 0.0800 0.0400 0.0566
424-AH 0.2253 0.2253 0.2685 0.3117 0.3117 0.2685 0.0611 0.0864 0.0864 0.2276 0.2650 0.2616 0.0432 0.2253 0.3117 0.2685 0.0611
425-AH 0.0357 0.0357 0.0638 0.0918 0.0918 0.0638 0.0397 0.0561 0.0561 0.6223 0.0573 0.0514 0.0281 0.0357 0.0918 0.0638 0.0397
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.1735 0.1735 0.1837 0.1939 0.1939 0.1837 0.0144 0.0204 0.0204 0.0786 0.1834 0.1831 0.0102 0.1735 0.1939 0.1837 0.0144
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.1065 0.1065 0.1095 0.1124 0.1124 0.1095 0.0042 0.0059 0.0059 0.0382 0.1094 0.1094 0.0030 0.1065 0.1124 0.1095 0.0042
430-AH 0.0000 0.0000 0.0185 0.0370 0.0370 0.0185 0.0262 0.0370 0.0370 1.4142 0.0006 0.0000 0.0185 0.0000 0.0370 0.0185 0.0262
431-AH 0.5096 0.5096 0.5110 0.5124 0.5124 0.5110 0.0019 0.0028 0.0028 0.0038 0.5110 0.5110 0.0014 0.5096 0.5124 0.5110 0.0019
432-AH 0.2222 0.2222 0.2326 0.2431 0.2431 0.2326 0.0147 0.0208 0.0208 0.0633 0.2324 0.2322 0.0104 0.2222 0.2431 0.2326 0.0147
433-AH 0.4321 0.4321 0.4886 0.5452 0.5452 0.4886 0.0799 0.1130 0.1130 0.1636 0.4854 0.4821 0.0565 0.4321 0.5452 0.4886 0.0799
434-AH 0.9340 0.9340 0.9349 0.9358 0.9358 0.9349 0.0012 0.0017 0.0017 0.0013 0.9349 0.9349 0.0009 0.9340 0.9358 0.9349 0.0012
435-AH 0.1333 0.1333 0.1583 0.1833 0.1833 0.1583 0.0354 0.0500 0.0500 0.2233 0.1563 0.1544 0.0250 0.1333 0.1833 0.1583 0.0354
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.6050 0.6050 0.6109 0.6169 0.6169 0.6109 0.0084 0.0118 0.0118 0.0137 0.6109 0.6109 0.0059 0.6050 0.6169 0.6109 0.0084
438-AH 0.0623 0.0623 0.0800 0.0978 0.0978 0.0800 0.0251 0.0355 0.0355 0.3134 0.0780 0.0761 0.0177 0.0623 0.0978 0.0800 0.0251
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0592 0.0592 0.1686 0.2781 0.2781 0.1686 0.1548 0.2189 0.2189 0.9180 0.1283 0.0976 0.1095 0.0592 0.2781 0.1686 0.1548
441-AH 0.6844 0.6844 0.7000 0.7156 0.7156 0.7000 0.0220 0.0311 0.0311 0.0314 0.6998 0.6997 0.0156 0.6844 0.7156 0.7000 0.0220
442-AH 0.7778 0.7778 0.8025 0.8272 0.8272 0.8025 0.0349 0.0494 0.0494 0.0435 0.8021 0.8017 0.0247 0.7778 0.8272 0.8025 0.0349
443-AH 0.0000 0.0000 0.0041 0.0082 0.0082 0.0041 0.0058 0.0082 0.0082 1.4142 0.0003 0.0000 0.0041 0.0000 0.0082 0.0041 0.0058
444-AH 0.2852 0.2852 0.2871 0.2891 0.2891 0.2871 0.0028 0.0039 0.0039 0.0096 0.2871 0.2871 0.0020 0.2852 0.2891 0.2871 0.0028
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9130 0.9130 0.9319 0.9509 0.9509 0.9319 0.0267 0.0378 0.0378 0.0287 0.9318 0.9316 0.0189 0.9130 0.9509 0.9319 0.0267
448-AH 0.7500 0.7500 0.7500 0.7500 0.7500 0.7500 0.0000 0.0000 0.0000 0.0000 0.7500 0.7500 0.0000 0.7500 0.7500 0.7500 0.0000
449-AH 0.4431 0.4431 0.5658 0.6886 0.6886 0.5658 0.1736 0.2455 0.2455 0.3068 0.5524 0.5392 0.1228 0.4431 0.6886 0.5658 0.1736
450-AH 0.2071 0.2071 0.2160 0.2249 0.2249 0.2160 0.0126 0.0178 0.0178 0.0581 0.2158 0.2156 0.0089 0.2071 0.2249 0.2160 0.0126
251
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 0% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0714 0.0714 0.1190 0.1667 0.1667 0.1190 0.0673 0.0952 0.0952 0.5657 0.1091 0.1000 0.0476 0.0714 0.1667 0.1190 0.0673
402-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
403-AH 0.0417 0.0417 0.5208 1.0000 1.0000 0.5208 0.6776 0.9583 0.9583 1.3011 0.2041 0.0800 0.4792 0.0417 1.0000 0.5208 0.6776
404-AH 0.4000 0.4000 0.7000 1.0000 1.0000 0.7000 0.4243 0.6000 0.6000 0.6061 0.6325 0.5714 0.3000 0.4000 1.0000 0.7000 0.4243
405-AH 0.6000 0.6000 0.8000 1.0000 1.0000 0.8000 0.2828 0.4000 0.4000 0.3536 0.7746 0.7500 0.2000 0.6000 1.0000 0.8000 0.2828
406-AH 0.0000 0.0000 0.0008 0.0015 0.0015 0.0008 0.0011 0.0015 0.0015 1.4142 0.0001 0.0000 0.0008 0.0000 0.0015 0.0008 0.0011
407-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
408-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
409-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
410-AH 0.9231 0.9231 0.9615 1.0000 1.0000 0.9615 0.0544 0.0769 0.0769 0.0566 0.9608 0.9600 0.0385 0.9231 1.0000 0.9615 0.0544
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.3333 0.3333 0.4167 0.5000 0.5000 0.4167 0.1179 0.1667 0.1667 0.2828 0.4082 0.4000 0.0833 0.3333 0.5000 0.4167 0.1179
413-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
414-AH 0.0588 0.0588 0.5294 1.0000 1.0000 0.5294 0.6655 0.9412 0.9412 1.2571 0.2425 0.1111 0.4706 0.0588 1.0000 0.5294 0.6655
415-AH 0.2804 0.2804 0.2877 0.2951 0.2951 0.2877 0.0104 0.0147 0.0147 0.0361 0.2876 0.2875 0.0074 0.2804 0.2951 0.2877 0.0104
416-AH 0.5000 0.5000 0.5278 0.5556 0.5556 0.5278 0.0393 0.0556 0.0556 0.0744 0.5270 0.5263 0.0278 0.5000 0.5556 0.5278 0.0393
417-AH 0.0500 0.0500 0.0776 0.1053 0.1053 0.0776 0.0391 0.0553 0.0553 0.5034 0.0725 0.0678 0.0276 0.0500 0.1053 0.0776 0.0391
418-AH 0.6154 0.6154 0.7363 0.8571 0.8571 0.7363 0.1709 0.2418 0.2418 0.2322 0.7263 0.7164 0.1209 0.6154 0.8571 0.7363 0.1709
419-AH 0.0109 0.0109 0.0348 0.0588 0.0588 0.0348 0.0339 0.0480 0.0480 0.9731 0.0253 0.0183 0.0240 0.0109 0.0588 0.0348 0.0339
420-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
421-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
422-AH 0.0000 0.0000 0.0075 0.0151 0.0151 0.0075 0.0107 0.0151 0.0151 1.4142 0.0004 0.0000 0.0075 0.0000 0.0151 0.0075 0.0107
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
425-AH 0.1250 0.1250 0.2054 0.2857 0.2857 0.2054 0.1136 0.1607 0.1607 0.5534 0.1890 0.1739 0.0804 0.1250 0.2857 0.2054 0.1136
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.3750 0.3750 0.4375 0.5000 0.5000 0.4375 0.0884 0.1250 0.1250 0.2020 0.4330 0.4286 0.0625 0.3750 0.5000 0.4375 0.0884
428-AH 0.0870 0.0870 0.0990 0.1111 0.1111 0.0990 0.0171 0.0242 0.0242 0.1725 0.0983 0.0976 0.0121 0.0870 0.1111 0.0990 0.0171
429-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
430-AH 0.0385 0.0385 0.0907 0.1429 0.1429 0.0907 0.0738 0.1044 0.1044 0.8142 0.0741 0.0606 0.0522 0.0385 0.1429 0.0907 0.0738
431-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
432-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
433-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2800 0.2800 0.3218 0.3636 0.3636 0.3218 0.0591 0.0836 0.0836 0.1838 0.3191 0.3164 0.0418 0.2800 0.3636 0.3218 0.0591
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
438-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
439-AH 0.0104 0.0104 0.0364 0.0625 0.0625 0.0364 0.0368 0.0521 0.0521 1.0108 0.0255 0.0178 0.0261 0.0104 0.0625 0.0364 0.0368
440-AH 0.2500 0.2500 0.6250 1.0000 1.0000 0.6250 0.5303 0.7500 0.7500 0.8485 0.5000 0.4000 0.3750 0.2500 1.0000 0.6250 0.5303
441-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0187 0.0187 0.0388 0.0588 0.0588 0.0388 0.0284 0.0401 0.0401 0.7313 0.0332 0.0284 0.0201 0.0187 0.0588 0.0388 0.0284
444-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
445-AH 0.1250 0.1250 0.1458 0.1667 0.1667 0.1458 0.0295 0.0417 0.0417 0.2020 0.1443 0.1429 0.0208 0.1250 0.1667 0.1458 0.0295
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
450-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
252
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 10% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0245 0.0245 0.0375 0.0505 0.0505 0.0375 0.0184 0.0260 0.0260 0.4906 0.0352 0.0330 0.0130 0.0245 0.0505 0.0375 0.0184
402-AH 0.5000 0.5000 0.5682 0.6364 0.6364 0.5682 0.0964 0.1364 0.1364 0.1697 0.5641 0.5600 0.0682 0.5000 0.6364 0.5682 0.0964
403-AH 0.0122 0.0122 0.0728 0.1333 0.1333 0.0728 0.0856 0.1211 0.1211 1.1763 0.0404 0.0224 0.0605 0.0122 0.1333 0.0728 0.0856
404-AH 0.4000 0.4000 0.7000 1.0000 1.0000 0.7000 0.4243 0.6000 0.6000 0.6061 0.6325 0.5714 0.3000 0.4000 1.0000 0.7000 0.4243
405-AH 0.6000 0.6000 0.8000 1.0000 1.0000 0.8000 0.2828 0.4000 0.4000 0.3536 0.7746 0.7500 0.2000 0.6000 1.0000 0.8000 0.2828
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
408-AH 0.1111 0.1111 0.2556 0.4000 0.4000 0.2556 0.2043 0.2889 0.2889 0.7993 0.2108 0.1739 0.1444 0.1111 0.4000 0.2556 0.2043
409-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
410-AH 0.9231 0.9231 0.9615 1.0000 1.0000 0.9615 0.0544 0.0769 0.0769 0.0566 0.9608 0.9600 0.0385 0.9231 1.0000 0.9615 0.0544
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0323 0.0323 0.1161 0.2000 0.2000 0.1161 0.1186 0.1677 0.1677 1.0214 0.0803 0.0556 0.0839 0.0323 0.2000 0.1161 0.1186
413-AH 0.7692 0.7692 0.7735 0.7778 0.7778 0.7735 0.0060 0.0085 0.0085 0.0078 0.7735 0.7735 0.0043 0.7692 0.7778 0.7735 0.0060
414-AH 0.0588 0.0588 0.5294 1.0000 1.0000 0.5294 0.6655 0.9412 0.9412 1.2571 0.2425 0.1111 0.4706 0.0588 1.0000 0.5294 0.6655
415-AH 0.2804 0.2804 0.2877 0.2951 0.2951 0.2877 0.0104 0.0147 0.0147 0.0361 0.2876 0.2875 0.0074 0.2804 0.2951 0.2877 0.0104
416-AH 0.5000 0.5000 0.5278 0.5556 0.5556 0.5278 0.0393 0.0556 0.0556 0.0744 0.5270 0.5263 0.0278 0.5000 0.5556 0.5278 0.0393
417-AH 0.0500 0.0500 0.0776 0.1053 0.1053 0.0776 0.0391 0.0553 0.0553 0.5034 0.0725 0.0678 0.0276 0.0500 0.1053 0.0776 0.0391
418-AH 0.6154 0.6154 0.7363 0.8571 0.8571 0.7363 0.1709 0.2418 0.2418 0.2322 0.7263 0.7164 0.1209 0.6154 0.8571 0.7363 0.1709
419-AH 0.0109 0.0109 0.0348 0.0588 0.0588 0.0348 0.0339 0.0480 0.0480 0.9731 0.0253 0.0183 0.0240 0.0109 0.0588 0.0348 0.0339
420-AH 0.6000 0.6000 0.8000 1.0000 1.0000 0.8000 0.2828 0.4000 0.4000 0.3536 0.7746 0.7500 0.2000 0.6000 1.0000 0.8000 0.2828
421-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
422-AH 0.0000 0.0000 0.0075 0.0151 0.0151 0.0075 0.0107 0.0151 0.0151 1.4142 0.0004 0.0000 0.0075 0.0000 0.0151 0.0075 0.0107
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
425-AH 0.0517 0.0517 0.1687 0.2857 0.2857 0.1687 0.1655 0.2340 0.2340 0.9807 0.1216 0.0876 0.1170 0.0517 0.2857 0.1687 0.1655
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.3750 0.3750 0.4375 0.5000 0.5000 0.4375 0.0884 0.1250 0.1250 0.2020 0.4330 0.4286 0.0625 0.3750 0.5000 0.4375 0.0884
428-AH 0.0870 0.0870 0.0990 0.1111 0.1111 0.0990 0.0171 0.0242 0.0242 0.1725 0.0983 0.0976 0.0121 0.0870 0.1111 0.0990 0.0171
429-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
430-AH 0.0385 0.0385 0.0907 0.1429 0.1429 0.0907 0.0738 0.1044 0.1044 0.8142 0.0741 0.0606 0.0522 0.0385 0.1429 0.0907 0.0738
431-AH 0.6667 0.6667 0.6754 0.6842 0.6842 0.6754 0.0124 0.0175 0.0175 0.0184 0.6754 0.6753 0.0088 0.6667 0.6842 0.6754 0.0124
432-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
433-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2800 0.2800 0.3218 0.3636 0.3636 0.3218 0.0591 0.0836 0.0836 0.1838 0.3191 0.3164 0.0418 0.2800 0.3636 0.3218 0.0591
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.8750 0.8750 0.9375 1.0000 1.0000 0.9375 0.0884 0.1250 0.1250 0.0943 0.9354 0.9333 0.0625 0.8750 1.0000 0.9375 0.0884
438-AH 0.0225 0.0225 0.1113 0.2000 0.2000 0.1113 0.1255 0.1775 0.1775 1.1279 0.0671 0.0405 0.0887 0.0225 0.2000 0.1113 0.1255
439-AH 0.0104 0.0104 0.0364 0.0625 0.0625 0.0364 0.0368 0.0521 0.0521 1.0108 0.0255 0.0178 0.0261 0.0104 0.0625 0.0364 0.0368
440-AH 0.1600 0.1600 0.4133 0.6667 0.6667 0.4133 0.3583 0.5067 0.5067 0.8668 0.3266 0.2581 0.2533 0.1600 0.6667 0.4133 0.3583
441-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0187 0.0187 0.0388 0.0588 0.0588 0.0388 0.0284 0.0401 0.0401 0.7313 0.0332 0.0284 0.0201 0.0187 0.0588 0.0388 0.0284
444-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
445-AH 0.1250 0.1250 0.1458 0.1667 0.1667 0.1458 0.0295 0.0417 0.0417 0.2020 0.1443 0.1429 0.0208 0.1250 0.1667 0.1458 0.0295
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9167 0.9167 0.9583 1.0000 1.0000 0.9583 0.0589 0.0833 0.0833 0.0615 0.9574 0.9565 0.0417 0.9167 1.0000 0.9583 0.0589
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
450-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
253
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 20% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0245 0.0245 0.0348 0.0452 0.0452 0.0348 0.0146 0.0207 0.0207 0.4197 0.0333 0.0318 0.0103 0.0245 0.0452 0.0348 0.0146
402-AH 0.5000 0.5000 0.5682 0.6364 0.6364 0.5682 0.0964 0.1364 0.1364 0.1697 0.5641 0.5600 0.0682 0.5000 0.6364 0.5682 0.0964
403-AH 0.0122 0.0122 0.0456 0.0789 0.0789 0.0456 0.0472 0.0667 0.0667 1.0344 0.0311 0.0212 0.0334 0.0122 0.0789 0.0456 0.0472
404-AH 0.4000 0.4000 0.7000 1.0000 1.0000 0.7000 0.4243 0.6000 0.6000 0.6061 0.6325 0.5714 0.3000 0.4000 1.0000 0.7000 0.4243
405-AH 0.6000 0.6000 0.8000 1.0000 1.0000 0.8000 0.2828 0.4000 0.4000 0.3536 0.7746 0.7500 0.2000 0.6000 1.0000 0.8000 0.2828
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.3333 0.3333 0.6667 1.0000 1.0000 0.6667 0.4714 0.6667 0.6667 0.7071 0.5774 0.5000 0.3333 0.3333 1.0000 0.6667 0.4714
408-AH 0.1034 0.1034 0.1489 0.1944 0.1944 0.1489 0.0643 0.0910 0.0910 0.4320 0.1418 0.1350 0.0455 0.1034 0.1944 0.1489 0.0643
409-AH 0.5000 0.5000 0.7500 1.0000 1.0000 0.7500 0.3536 0.5000 0.5000 0.4714 0.7071 0.6667 0.2500 0.5000 1.0000 0.7500 0.3536
410-AH 0.9231 0.9231 0.9258 0.9286 0.9286 0.9258 0.0039 0.0055 0.0055 0.0042 0.9258 0.9258 0.0027 0.9231 0.9286 0.9258 0.0039
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0248 0.0248 0.0541 0.0833 0.0833 0.0541 0.0414 0.0585 0.0585 0.7646 0.0455 0.0383 0.0292 0.0248 0.0833 0.0541 0.0414
413-AH 0.7692 0.7692 0.7735 0.7778 0.7778 0.7735 0.0060 0.0085 0.0085 0.0078 0.7735 0.7735 0.0043 0.7692 0.7778 0.7735 0.0060
414-AH 0.0588 0.0588 0.5294 1.0000 1.0000 0.5294 0.6655 0.9412 0.9412 1.2571 0.2425 0.1111 0.4706 0.0588 1.0000 0.5294 0.6655
415-AH 0.2804 0.2804 0.2877 0.2951 0.2951 0.2877 0.0104 0.0147 0.0147 0.0361 0.2876 0.2875 0.0074 0.2804 0.2951 0.2877 0.0104
416-AH 0.5000 0.5000 0.5278 0.5556 0.5556 0.5278 0.0393 0.0556 0.0556 0.0744 0.5270 0.5263 0.0278 0.5000 0.5556 0.5278 0.0393
417-AH 0.0500 0.0500 0.0776 0.1053 0.1053 0.0776 0.0391 0.0553 0.0553 0.5034 0.0725 0.0678 0.0276 0.0500 0.1053 0.0776 0.0391
418-AH 0.6154 0.6154 0.7363 0.8571 0.8571 0.7363 0.1709 0.2418 0.2418 0.2322 0.7263 0.7164 0.1209 0.6154 0.8571 0.7363 0.1709
419-AH 0.0109 0.0109 0.0348 0.0588 0.0588 0.0348 0.0339 0.0480 0.0480 0.9731 0.0253 0.0183 0.0240 0.0109 0.0588 0.0348 0.0339
420-AH 0.4286 0.4286 0.5143 0.6000 0.6000 0.5143 0.1212 0.1714 0.1714 0.2357 0.5071 0.5000 0.0857 0.4286 0.6000 0.5143 0.1212
421-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 0.4444 0.4444 0.5556 0.6667 0.6667 0.5556 0.1571 0.2222 0.2222 0.2828 0.5443 0.5333 0.1111 0.4444 0.6667 0.5556 0.1571
425-AH 0.0517 0.0517 0.0940 0.1364 0.1364 0.0940 0.0598 0.0846 0.0846 0.6364 0.0840 0.0750 0.0423 0.0517 0.1364 0.0940 0.0598
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.3077 0.3077 0.3413 0.3750 0.3750 0.3413 0.0476 0.0673 0.0673 0.1394 0.3397 0.3380 0.0337 0.3077 0.3750 0.3413 0.0476
428-AH 0.0870 0.0870 0.0919 0.0968 0.0968 0.0919 0.0069 0.0098 0.0098 0.0756 0.0917 0.0916 0.0049 0.0870 0.0968 0.0919 0.0069
429-AH 0.0938 0.0938 0.1406 0.1875 0.1875 0.1406 0.0663 0.0938 0.0938 0.4714 0.1326 0.1250 0.0469 0.0938 0.1875 0.1406 0.0663
430-AH 0.0074 0.0074 0.0300 0.0526 0.0526 0.0300 0.0320 0.0452 0.0452 1.0653 0.0197 0.0130 0.0226 0.0074 0.0526 0.0300 0.0320
431-AH 0.6667 0.6667 0.6754 0.6842 0.6842 0.6754 0.0124 0.0175 0.0175 0.0184 0.6754 0.6753 0.0088 0.6667 0.6842 0.6754 0.0124
432-AH 0.3750 0.3750 0.4375 0.5000 0.5000 0.4375 0.0884 0.1250 0.1250 0.2020 0.4330 0.4286 0.0625 0.3750 0.5000 0.4375 0.0884
433-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2800 0.2800 0.2900 0.3000 0.3000 0.2900 0.0141 0.0200 0.0200 0.0488 0.2898 0.2897 0.0100 0.2800 0.3000 0.2900 0.0141
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.8000 0.8000 0.8375 0.8750 0.8750 0.8375 0.0530 0.0750 0.0750 0.0633 0.8367 0.8358 0.0375 0.8000 0.8750 0.8375 0.0530
438-AH 0.0127 0.0127 0.0188 0.0250 0.0250 0.0188 0.0087 0.0123 0.0123 0.4623 0.0178 0.0168 0.0062 0.0127 0.0250 0.0188 0.0087
439-AH 0.0104 0.0104 0.0338 0.0571 0.0571 0.0338 0.0331 0.0467 0.0467 0.9788 0.0244 0.0176 0.0234 0.0104 0.0571 0.0338 0.0331
440-AH 0.1600 0.1600 0.3657 0.5714 0.5714 0.3657 0.2909 0.4114 0.4114 0.7955 0.3024 0.2500 0.2057 0.1600 0.5714 0.3657 0.2909
441-AH 0.7500 0.7500 0.8750 1.0000 1.0000 0.8750 0.1768 0.2500 0.2500 0.2020 0.8660 0.8571 0.1250 0.7500 1.0000 0.8750 0.1768
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0187 0.0187 0.0353 0.0519 0.0519 0.0353 0.0235 0.0332 0.0332 0.6649 0.0312 0.0275 0.0166 0.0187 0.0519 0.0353 0.0235
444-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
445-AH 0.1250 0.1250 0.1458 0.1667 0.1667 0.1458 0.0295 0.0417 0.0417 0.2020 0.1443 0.1429 0.0208 0.1250 0.1667 0.1458 0.0295
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9167 0.9167 0.9583 1.0000 1.0000 0.9583 0.0589 0.0833 0.0833 0.0615 0.9574 0.9565 0.0417 0.9167 1.0000 0.9583 0.0589
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
450-AH 0.4375 0.4375 0.4688 0.5000 0.5000 0.4688 0.0442 0.0625 0.0625 0.0943 0.4677 0.4667 0.0312 0.4375 0.5000 0.4688 0.0442
254
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 30% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0216 0.0216 0.0303 0.0390 0.0390 0.0303 0.0123 0.0173 0.0173 0.4044 0.0290 0.0278 0.0087 0.0216 0.0390 0.0303 0.0123
402-AH 0.5000 0.5000 0.5682 0.6364 0.6364 0.5682 0.0964 0.1364 0.1364 0.1697 0.5641 0.5600 0.0682 0.5000 0.6364 0.5682 0.0964
403-AH 0.0065 0.0065 0.0372 0.0678 0.0678 0.0372 0.0433 0.0613 0.0613 1.1661 0.0210 0.0119 0.0306 0.0065 0.0678 0.0372 0.0433
404-AH 0.2308 0.2308 0.4904 0.7500 0.7500 0.4904 0.3672 0.5192 0.5192 0.7487 0.4160 0.3529 0.2596 0.2308 0.7500 0.4904 0.3672
405-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.2308 0.2308 0.6154 1.0000 1.0000 0.6154 0.5439 0.7692 0.7692 0.8839 0.4804 0.3750 0.3846 0.2308 1.0000 0.6154 0.5439
408-AH 0.0847 0.0847 0.1257 0.1667 0.1667 0.1257 0.0579 0.0819 0.0819 0.4608 0.1188 0.1124 0.0410 0.0847 0.1667 0.1257 0.0579
409-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
410-AH 0.9231 0.9231 0.9258 0.9286 0.9286 0.9258 0.0039 0.0055 0.0055 0.0042 0.9258 0.9258 0.0027 0.9231 0.9286 0.9258 0.0039
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0321 0.0642 0.0642 0.0321 0.0454 0.0642 0.0642 1.4142 0.0008 0.0000 0.0321 0.0000 0.0642 0.0321 0.0454
413-AH 0.7273 0.7273 0.7483 0.7692 0.7692 0.7483 0.0297 0.0420 0.0420 0.0397 0.7480 0.7477 0.0210 0.7273 0.7692 0.7483 0.0297
414-AH 0.0357 0.0357 0.0473 0.0588 0.0588 0.0473 0.0163 0.0231 0.0231 0.3457 0.0458 0.0444 0.0116 0.0357 0.0588 0.0473 0.0163
415-AH 0.2804 0.2804 0.2877 0.2951 0.2951 0.2877 0.0104 0.0147 0.0147 0.0361 0.2876 0.2875 0.0074 0.2804 0.2951 0.2877 0.0104
416-AH 0.5000 0.5000 0.5278 0.5556 0.5556 0.5278 0.0393 0.0556 0.0556 0.0744 0.5270 0.5263 0.0278 0.5000 0.5556 0.5278 0.0393
417-AH 0.0500 0.0500 0.0776 0.1053 0.1053 0.0776 0.0391 0.0553 0.0553 0.5034 0.0725 0.0678 0.0276 0.0500 0.1053 0.0776 0.0391
418-AH 0.6154 0.6154 0.7363 0.8571 0.8571 0.7363 0.1709 0.2418 0.2418 0.2322 0.7263 0.7164 0.1209 0.6154 0.8571 0.7363 0.1709
419-AH 0.0109 0.0109 0.0348 0.0588 0.0588 0.0348 0.0339 0.0480 0.0480 0.9731 0.0253 0.0183 0.0240 0.0109 0.0588 0.0348 0.0339
420-AH 0.3889 0.3889 0.4637 0.5385 0.5385 0.4637 0.1058 0.1496 0.1496 0.2281 0.4576 0.4516 0.0748 0.3889 0.5385 0.4637 0.1058
421-AH 0.4706 0.4706 0.5000 0.5294 0.5294 0.5000 0.0416 0.0588 0.0588 0.0832 0.4991 0.4983 0.0294 0.4706 0.5294 0.5000 0.0416
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 0.2692 0.2692 0.4073 0.5455 0.5455 0.4073 0.1953 0.2762 0.2762 0.4795 0.3832 0.3605 0.1381 0.2692 0.5455 0.4073 0.1953
425-AH 0.0108 0.0108 0.0195 0.0282 0.0282 0.0195 0.0123 0.0174 0.0174 0.6295 0.0175 0.0157 0.0087 0.0108 0.0282 0.0195 0.0123
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.2500 0.2500 0.2917 0.3333 0.3333 0.2917 0.0589 0.0833 0.0833 0.2020 0.2887 0.2857 0.0417 0.2500 0.3333 0.2917 0.0589
428-AH 0.0862 0.0862 0.0866 0.0870 0.0870 0.0866 0.0005 0.0007 0.0007 0.0061 0.0866 0.0866 0.0004 0.0862 0.0870 0.0866 0.0005
429-AH 0.0649 0.0649 0.0865 0.1081 0.1081 0.0865 0.0305 0.0432 0.0432 0.3528 0.0838 0.0811 0.0216 0.0649 0.1081 0.0865 0.0305
430-AH 0.0061 0.0061 0.0249 0.0437 0.0437 0.0249 0.0266 0.0376 0.0376 1.0670 0.0164 0.0107 0.0188 0.0061 0.0437 0.0249 0.0266
431-AH 0.6667 0.6667 0.6754 0.6842 0.6842 0.6754 0.0124 0.0175 0.0175 0.0184 0.6754 0.6753 0.0088 0.6667 0.6842 0.6754 0.0124
432-AH 0.3636 0.3636 0.3818 0.4000 0.4000 0.3818 0.0257 0.0364 0.0364 0.0673 0.3814 0.3810 0.0182 0.3636 0.4000 0.3818 0.0257
433-AH 0.7222 0.7222 0.7778 0.8333 0.8333 0.7778 0.0786 0.1111 0.1111 0.1010 0.7758 0.7738 0.0556 0.7222 0.8333 0.7778 0.0786
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2542 0.2542 0.2771 0.3000 0.3000 0.2771 0.0324 0.0458 0.0458 0.1168 0.2762 0.2752 0.0229 0.2542 0.3000 0.2771 0.0324
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.7273 0.7273 0.7636 0.8000 0.8000 0.7636 0.0514 0.0727 0.0727 0.0673 0.7628 0.7619 0.0364 0.7273 0.8000 0.7636 0.0514
438-AH 0.0111 0.0111 0.0145 0.0179 0.0179 0.0145 0.0049 0.0069 0.0069 0.3341 0.0141 0.0137 0.0034 0.0111 0.0179 0.0145 0.0049
439-AH 0.0104 0.0104 0.0290 0.0476 0.0476 0.0290 0.0263 0.0372 0.0372 0.9073 0.0223 0.0171 0.0186 0.0104 0.0476 0.0290 0.0263
440-AH 0.1600 0.1600 0.3657 0.5714 0.5714 0.3657 0.2909 0.4114 0.4114 0.7955 0.3024 0.2500 0.2057 0.1600 0.5714 0.3657 0.2909
441-AH 0.7500 0.7500 0.7917 0.8333 0.8333 0.7917 0.0589 0.0833 0.0833 0.0744 0.7906 0.7895 0.0417 0.7500 0.8333 0.7917 0.0589
442-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
443-AH 0.0187 0.0187 0.0353 0.0519 0.0519 0.0353 0.0235 0.0332 0.0332 0.6649 0.0312 0.0275 0.0166 0.0187 0.0519 0.0353 0.0235
444-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
445-AH 0.0769 0.0769 0.0801 0.0833 0.0833 0.0801 0.0045 0.0064 0.0064 0.0566 0.0801 0.0800 0.0032 0.0769 0.0833 0.0801 0.0045
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9167 0.9167 0.9583 1.0000 1.0000 0.9583 0.0589 0.0833 0.0833 0.0615 0.9574 0.9565 0.0417 0.9167 1.0000 0.9583 0.0589
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.8824 0.8824 0.8912 0.9000 0.9000 0.8912 0.0125 0.0176 0.0176 0.0140 0.8911 0.8911 0.0088 0.8824 0.9000 0.8912 0.0125
450-AH 0.2308 0.2308 0.2444 0.2581 0.2581 0.2444 0.0193 0.0273 0.0273 0.0790 0.2440 0.2437 0.0136 0.2308 0.2581 0.2444 0.0193
255
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 40% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0159 0.0159 0.0269 0.0379 0.0379 0.0269 0.0155 0.0219 0.0219 0.5763 0.0246 0.0224 0.0110 0.0159 0.0379 0.0269 0.0155
402-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
403-AH 0.0065 0.0065 0.0283 0.0500 0.0500 0.0283 0.0307 0.0435 0.0435 1.0880 0.0181 0.0115 0.0217 0.0065 0.0500 0.0283 0.0307
404-AH 0.1071 0.1071 0.1233 0.1395 0.1395 0.1233 0.0229 0.0324 0.0324 0.1857 0.1223 0.1212 0.0162 0.1071 0.1395 0.1233 0.0229
405-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1667 0.1667 0.5833 1.0000 1.0000 0.5833 0.5893 0.8333 0.8333 1.0102 0.4082 0.2857 0.4167 0.1667 1.0000 0.5833 0.5893
408-AH 0.0732 0.0732 0.1199 0.1667 0.1667 0.1199 0.0661 0.0935 0.0935 0.5513 0.1104 0.1017 0.0467 0.0732 0.1667 0.1199 0.0661
409-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
410-AH 0.9231 0.9231 0.9258 0.9286 0.9286 0.9258 0.0039 0.0055 0.0055 0.0042 0.9258 0.9258 0.0027 0.9231 0.9286 0.9258 0.0039
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0251 0.0502 0.0502 0.0251 0.0355 0.0502 0.0502 1.4142 0.0007 0.0000 0.0251 0.0000 0.0502 0.0251 0.0355
413-AH 0.6250 0.6250 0.6971 0.7692 0.7692 0.6971 0.1020 0.1442 0.1442 0.1463 0.6934 0.6897 0.0721 0.6250 0.7692 0.6971 0.1020
414-AH 0.0357 0.0357 0.0473 0.0588 0.0588 0.0473 0.0163 0.0231 0.0231 0.3457 0.0458 0.0444 0.0116 0.0357 0.0588 0.0473 0.0163
415-AH 0.2804 0.2804 0.2877 0.2951 0.2951 0.2877 0.0104 0.0147 0.0147 0.0361 0.2876 0.2875 0.0074 0.2804 0.2951 0.2877 0.0104
416-AH 0.5000 0.5000 0.5278 0.5556 0.5556 0.5278 0.0393 0.0556 0.0556 0.0744 0.5270 0.5263 0.0278 0.5000 0.5556 0.5278 0.0393
417-AH 0.0500 0.0500 0.0505 0.0510 0.0510 0.0505 0.0007 0.0010 0.0010 0.0143 0.0505 0.0505 0.0005 0.0500 0.0510 0.0505 0.0007
418-AH 0.6154 0.6154 0.6713 0.7273 0.7273 0.6713 0.0791 0.1119 0.1119 0.1179 0.6690 0.6667 0.0559 0.6154 0.7273 0.6713 0.0791
419-AH 0.0109 0.0109 0.0348 0.0588 0.0588 0.0348 0.0339 0.0480 0.0480 0.9731 0.0253 0.0183 0.0240 0.0109 0.0588 0.0348 0.0339
420-AH 0.2903 0.2903 0.3327 0.3750 0.3750 0.3327 0.0599 0.0847 0.0847 0.1800 0.3300 0.3273 0.0423 0.2903 0.3750 0.3327 0.0599
421-AH 0.4706 0.4706 0.5000 0.5294 0.5294 0.5000 0.0416 0.0588 0.0588 0.0832 0.4991 0.4983 0.0294 0.4706 0.5294 0.5000 0.0416
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 0.2105 0.2105 0.2303 0.2500 0.2500 0.2303 0.0279 0.0395 0.0395 0.1212 0.2294 0.2286 0.0197 0.2105 0.2500 0.2303 0.0279
425-AH 0.0071 0.0071 0.0082 0.0093 0.0093 0.0082 0.0016 0.0023 0.0023 0.1954 0.0081 0.0080 0.0011 0.0071 0.0093 0.0082 0.0016
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.2000 0.2000 0.2111 0.2222 0.2222 0.2111 0.0157 0.0222 0.0222 0.0744 0.2108 0.2105 0.0111 0.2000 0.2222 0.2111 0.0157
428-AH 0.0650 0.0650 0.0760 0.0870 0.0870 0.0760 0.0155 0.0219 0.0219 0.2039 0.0752 0.0744 0.0110 0.0650 0.0870 0.0760 0.0155
429-AH 0.0444 0.0444 0.0495 0.0545 0.0545 0.0495 0.0071 0.0101 0.0101 0.1443 0.0492 0.0490 0.0051 0.0444 0.0545 0.0495 0.0071
430-AH 0.0051 0.0051 0.0244 0.0437 0.0437 0.0244 0.0273 0.0386 0.0386 1.1171 0.0150 0.0092 0.0193 0.0051 0.0437 0.0244 0.0273
431-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
432-AH 0.3333 0.3333 0.3391 0.3448 0.3448 0.3391 0.0081 0.0115 0.0115 0.0240 0.3390 0.3390 0.0057 0.3333 0.3448 0.3391 0.0081
433-AH 0.5806 0.5806 0.6365 0.6923 0.6923 0.6365 0.0790 0.1117 0.1117 0.1241 0.6340 0.6316 0.0558 0.5806 0.6923 0.6365 0.0790
434-AH 0.9444 0.9444 0.9722 1.0000 1.0000 0.9722 0.0393 0.0556 0.0556 0.0404 0.9718 0.9714 0.0278 0.9444 1.0000 0.9722 0.0393
435-AH 0.2542 0.2542 0.2771 0.3000 0.3000 0.2771 0.0324 0.0458 0.0458 0.1168 0.2762 0.2752 0.0229 0.2542 0.3000 0.2771 0.0324
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.6000 0.6000 0.6200 0.6400 0.6400 0.6200 0.0283 0.0400 0.0400 0.0456 0.6197 0.6194 0.0200 0.6000 0.6400 0.6200 0.0283
438-AH 0.0000 0.0000 0.0090 0.0179 0.0179 0.0090 0.0127 0.0179 0.0179 1.4142 0.0004 0.0000 0.0090 0.0000 0.0179 0.0090 0.0127
439-AH 0.0104 0.0104 0.0290 0.0476 0.0476 0.0290 0.0263 0.0372 0.0372 0.9073 0.0223 0.0171 0.0186 0.0104 0.0476 0.0290 0.0263
440-AH 0.1250 0.1250 0.2292 0.3333 0.3333 0.2292 0.1473 0.2083 0.2083 0.6428 0.2041 0.1818 0.1042 0.1250 0.3333 0.2292 0.1473
441-AH 0.6667 0.6667 0.7083 0.7500 0.7500 0.7083 0.0589 0.0833 0.0833 0.0832 0.7071 0.7059 0.0417 0.6667 0.7500 0.7083 0.0589
442-AH 0.8889 0.8889 0.9444 1.0000 1.0000 0.9444 0.0786 0.1111 0.1111 0.0832 0.9428 0.9412 0.0556 0.8889 1.0000 0.9444 0.0786
443-AH 0.0187 0.0187 0.0353 0.0519 0.0519 0.0353 0.0235 0.0332 0.0332 0.6649 0.0312 0.0275 0.0166 0.0187 0.0519 0.0353 0.0235
444-AH 0.3077 0.3077 0.4038 0.5000 0.5000 0.4038 0.1360 0.1923 0.1923 0.3367 0.3922 0.3810 0.0962 0.3077 0.5000 0.4038 0.1360
445-AH 0.0769 0.0769 0.0801 0.0833 0.0833 0.0801 0.0045 0.0064 0.0064 0.0566 0.0801 0.0800 0.0032 0.0769 0.0833 0.0801 0.0045
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9167 0.9167 0.9583 1.0000 1.0000 0.9583 0.0589 0.0833 0.0833 0.0615 0.9574 0.9565 0.0417 0.9167 1.0000 0.9583 0.0589
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.5789 0.5789 0.7307 0.8824 0.8824 0.7307 0.2145 0.3034 0.3034 0.2936 0.7147 0.6992 0.1517 0.5789 0.8824 0.7307 0.2145
450-AH 0.1833 0.1833 0.1988 0.2143 0.2143 0.1988 0.0219 0.0310 0.0310 0.1101 0.1982 0.1976 0.0155 0.1833 0.2143 0.1988 0.0219
256
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 50% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.4400 0.4400 0.4458 0.4516 0.4516 0.4458 0.0082 0.0116 0.0116 0.0184 0.4458 0.4457 0.0058 0.4400 0.4516 0.4458 0.0082
403-AH 0.0000 0.0000 0.0226 0.0451 0.0451 0.0226 0.0319 0.0451 0.0451 1.4142 0.0007 0.0000 0.0226 0.0000 0.0451 0.0226 0.0319
404-AH 0.1071 0.1071 0.1233 0.1395 0.1395 0.1233 0.0229 0.0324 0.0324 0.1857 0.1223 0.1212 0.0162 0.1071 0.1395 0.1233 0.0229
405-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1667 0.1667 0.5833 1.0000 1.0000 0.5833 0.5893 0.8333 0.8333 1.0102 0.4082 0.2857 0.4167 0.1667 1.0000 0.5833 0.5893
408-AH 0.0727 0.0727 0.1197 0.1667 0.1667 0.1197 0.0664 0.0939 0.0939 0.5549 0.1101 0.1013 0.0470 0.0727 0.1667 0.1197 0.0664
409-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
410-AH 0.9231 0.9231 0.9258 0.9286 0.9286 0.9258 0.0039 0.0055 0.0055 0.0042 0.9258 0.9258 0.0027 0.9231 0.9286 0.9258 0.0039
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0130 0.0259 0.0259 0.0130 0.0183 0.0259 0.0259 1.4142 0.0005 0.0000 0.0130 0.0000 0.0259 0.0130 0.0183
413-AH 0.4516 0.4516 0.4758 0.5000 0.5000 0.4758 0.0342 0.0484 0.0484 0.0719 0.4752 0.4746 0.0242 0.4516 0.5000 0.4758 0.0342
414-AH 0.0357 0.0357 0.0473 0.0588 0.0588 0.0473 0.0163 0.0231 0.0231 0.3457 0.0458 0.0444 0.0116 0.0357 0.0588 0.0473 0.0163
415-AH 0.2750 0.2750 0.2850 0.2951 0.2951 0.2850 0.0142 0.0201 0.0201 0.0498 0.2849 0.2847 0.0100 0.2750 0.2951 0.2850 0.0142
416-AH 0.4737 0.4737 0.4868 0.5000 0.5000 0.4868 0.0186 0.0263 0.0263 0.0382 0.4867 0.4865 0.0132 0.4737 0.5000 0.4868 0.0186
417-AH 0.0427 0.0427 0.0448 0.0470 0.0470 0.0448 0.0030 0.0043 0.0043 0.0678 0.0448 0.0447 0.0021 0.0427 0.0470 0.0448 0.0030
418-AH 0.5882 0.5882 0.6176 0.6471 0.6471 0.6176 0.0416 0.0588 0.0588 0.0673 0.6169 0.6162 0.0294 0.5882 0.6471 0.6176 0.0416
419-AH 0.0109 0.0109 0.0348 0.0588 0.0588 0.0348 0.0339 0.0480 0.0480 0.9731 0.0253 0.0183 0.0240 0.0109 0.0588 0.0348 0.0339
420-AH 0.1930 0.1930 0.2503 0.3077 0.3077 0.2503 0.0811 0.1147 0.1147 0.3240 0.2437 0.2372 0.0574 0.1930 0.3077 0.2503 0.0811
421-AH 0.4706 0.4706 0.5000 0.5294 0.5294 0.5000 0.0416 0.0588 0.0588 0.0832 0.4991 0.4983 0.0294 0.4706 0.5294 0.5000 0.0416
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 0.1111 0.1111 0.1740 0.2368 0.2368 0.1740 0.0889 0.1257 0.1257 0.5110 0.1622 0.1513 0.0629 0.1111 0.2368 0.1740 0.0889
425-AH 0.0000 0.0000 0.0047 0.0093 0.0093 0.0047 0.0066 0.0093 0.0093 1.4142 0.0003 0.0000 0.0047 0.0000 0.0093 0.0047 0.0066
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.1860 0.1860 0.2011 0.2162 0.2162 0.2011 0.0213 0.0302 0.0302 0.1061 0.2006 0.2000 0.0151 0.1860 0.2162 0.2011 0.0213
428-AH 0.0394 0.0394 0.0522 0.0650 0.0650 0.0522 0.0181 0.0256 0.0256 0.3470 0.0506 0.0491 0.0128 0.0394 0.0650 0.0522 0.0181
429-AH 0.0374 0.0374 0.0386 0.0398 0.0398 0.0386 0.0017 0.0023 0.0023 0.0429 0.0386 0.0386 0.0012 0.0374 0.0398 0.0386 0.0017
430-AH 0.0000 0.0000 0.0219 0.0437 0.0437 0.0219 0.0309 0.0437 0.0437 1.4142 0.0007 0.0000 0.0219 0.0000 0.0437 0.0219 0.0309
431-AH 0.6296 0.6296 0.6481 0.6667 0.6667 0.6481 0.0262 0.0370 0.0370 0.0404 0.6479 0.6476 0.0185 0.6296 0.6667 0.6481 0.0262
432-AH 0.3333 0.3333 0.3391 0.3448 0.3448 0.3391 0.0081 0.0115 0.0115 0.0240 0.3390 0.3390 0.0057 0.3333 0.3448 0.3391 0.0081
433-AH 0.3793 0.3793 0.5132 0.6471 0.6471 0.5132 0.1893 0.2677 0.2677 0.3689 0.4954 0.4783 0.1339 0.3793 0.6471 0.5132 0.1893
434-AH 0.9444 0.9444 0.9722 1.0000 1.0000 0.9722 0.0393 0.0556 0.0556 0.0404 0.9718 0.9714 0.0278 0.9444 1.0000 0.9722 0.0393
435-AH 0.2542 0.2542 0.2564 0.2586 0.2586 0.2564 0.0031 0.0044 0.0044 0.0121 0.2564 0.2564 0.0022 0.2542 0.2586 0.2564 0.0031
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.6000 0.6000 0.6200 0.6400 0.6400 0.6200 0.0283 0.0400 0.0400 0.0456 0.6197 0.6194 0.0200 0.6000 0.6400 0.6200 0.0283
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0104 0.0104 0.0290 0.0476 0.0476 0.0290 0.0263 0.0372 0.0372 0.9073 0.0223 0.0171 0.0186 0.0104 0.0476 0.0290 0.0263
440-AH 0.1077 0.1077 0.1650 0.2222 0.2222 0.1650 0.0810 0.1145 0.1145 0.4909 0.1547 0.1451 0.0573 0.1077 0.2222 0.1650 0.0810
441-AH 0.6667 0.6667 0.6970 0.7273 0.7273 0.6970 0.0429 0.0606 0.0606 0.0615 0.6963 0.6957 0.0303 0.6667 0.7273 0.6970 0.0429
442-AH 0.8333 0.8333 0.8611 0.8889 0.8889 0.8611 0.0393 0.0556 0.0556 0.0456 0.8607 0.8602 0.0278 0.8333 0.8889 0.8611 0.0393
443-AH 0.0187 0.0187 0.0353 0.0519 0.0519 0.0353 0.0235 0.0332 0.0332 0.6649 0.0312 0.0275 0.0166 0.0187 0.0519 0.0353 0.0235
444-AH 0.3077 0.3077 0.3138 0.3200 0.3200 0.3138 0.0087 0.0123 0.0123 0.0277 0.3138 0.3137 0.0062 0.3077 0.3200 0.3138 0.0087
445-AH 0.0769 0.0769 0.0801 0.0833 0.0833 0.0801 0.0045 0.0064 0.0064 0.0566 0.0801 0.0800 0.0032 0.0769 0.0833 0.0801 0.0045
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8750 0.8750 0.9375 1.0000 1.0000 0.9375 0.0884 0.1250 0.1250 0.0943 0.9354 0.9333 0.0625 0.8750 1.0000 0.9375 0.0884
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.3902 0.3902 0.6363 0.8824 0.8824 0.6363 0.3480 0.4921 0.4921 0.5469 0.5868 0.5411 0.2461 0.3902 0.8824 0.6363 0.3480
450-AH 0.0977 0.0977 0.1367 0.1757 0.1757 0.1367 0.0551 0.0779 0.0779 0.4031 0.1310 0.1256 0.0390 0.0977 0.1757 0.1367 0.0551
257
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 60% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.4375 0.4375 0.4446 0.4516 0.4516 0.4446 0.0100 0.0141 0.0141 0.0224 0.4445 0.4444 0.0071 0.4375 0.4516 0.4446 0.0100
403-AH 0.0000 0.0000 0.0087 0.0174 0.0174 0.0087 0.0123 0.0174 0.0174 1.4142 0.0004 0.0000 0.0087 0.0000 0.0174 0.0087 0.0123
404-AH 0.1071 0.1071 0.1233 0.1395 0.1395 0.1233 0.0229 0.0324 0.0324 0.1857 0.1223 0.1212 0.0162 0.1071 0.1395 0.1233 0.0229
405-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1163 0.1163 0.5581 1.0000 1.0000 0.5581 0.6249 0.8837 0.8837 1.1196 0.3410 0.2083 0.4419 0.1163 1.0000 0.5581 0.6249
408-AH 0.0213 0.0213 0.0604 0.0995 0.0995 0.0604 0.0553 0.0782 0.0782 0.9149 0.0461 0.0351 0.0391 0.0213 0.0995 0.0604 0.0553
409-AH 0.1143 0.1143 0.1196 0.1250 0.1250 0.1196 0.0076 0.0107 0.0107 0.0633 0.1195 0.1194 0.0054 0.1143 0.1250 0.1196 0.0076
410-AH 0.8000 0.8000 0.8048 0.8095 0.8095 0.8048 0.0067 0.0095 0.0095 0.0084 0.8047 0.8047 0.0048 0.8000 0.8095 0.8048 0.0067
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.4324 0.4324 0.4368 0.4412 0.4412 0.4368 0.0062 0.0087 0.0087 0.0142 0.4368 0.4368 0.0044 0.4324 0.4412 0.4368 0.0062
414-AH 0.0058 0.0058 0.0088 0.0119 0.0119 0.0088 0.0043 0.0061 0.0061 0.4885 0.0083 0.0078 0.0030 0.0058 0.0119 0.0088 0.0043
415-AH 0.2055 0.2055 0.2183 0.2312 0.2312 0.2183 0.0182 0.0257 0.0257 0.0833 0.2180 0.2176 0.0129 0.2055 0.2312 0.2183 0.0182
416-AH 0.4737 0.4737 0.4868 0.5000 0.5000 0.4868 0.0186 0.0263 0.0263 0.0382 0.4867 0.4865 0.0132 0.4737 0.5000 0.4868 0.0186
417-AH 0.0427 0.0427 0.0448 0.0470 0.0470 0.0448 0.0030 0.0043 0.0043 0.0678 0.0448 0.0447 0.0021 0.0427 0.0470 0.0448 0.0030
418-AH 0.5455 0.5455 0.5885 0.6316 0.6316 0.5885 0.0609 0.0861 0.0861 0.1035 0.5869 0.5854 0.0431 0.5455 0.6316 0.5885 0.0609
419-AH 0.0037 0.0037 0.0046 0.0055 0.0055 0.0046 0.0013 0.0018 0.0018 0.2721 0.0045 0.0044 0.0009 0.0037 0.0055 0.0046 0.0013
420-AH 0.1625 0.1625 0.1953 0.2281 0.2281 0.1953 0.0464 0.0656 0.0656 0.2374 0.1925 0.1898 0.0328 0.1625 0.2281 0.1953 0.0464
421-AH 0.4706 0.4706 0.5000 0.5294 0.5294 0.5000 0.0416 0.0588 0.0588 0.0832 0.4991 0.4983 0.0294 0.4706 0.5294 0.5000 0.0416
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2727 0.2727 0.2864 0.3000 0.3000 0.2864 0.0193 0.0273 0.0273 0.0673 0.2860 0.2857 0.0136 0.2727 0.3000 0.2864 0.0193
424-AH 0.0982 0.0982 0.1549 0.2115 0.2115 0.1549 0.0801 0.1133 0.1133 0.5174 0.1441 0.1341 0.0567 0.0982 0.2115 0.1549 0.0801
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0323 0.0323 0.0379 0.0435 0.0435 0.0379 0.0079 0.0112 0.0112 0.2095 0.0375 0.0370 0.0056 0.0323 0.0435 0.0379 0.0079
427-AH 0.1585 0.1585 0.1615 0.1644 0.1644 0.1615 0.0041 0.0058 0.0058 0.0256 0.1614 0.1614 0.0029 0.1585 0.1644 0.1615 0.0041
428-AH 0.0257 0.0257 0.0347 0.0437 0.0437 0.0347 0.0127 0.0180 0.0180 0.3666 0.0335 0.0324 0.0090 0.0257 0.0437 0.0347 0.0127
429-AH 0.0222 0.0222 0.0237 0.0252 0.0252 0.0237 0.0021 0.0030 0.0030 0.0896 0.0236 0.0236 0.0015 0.0222 0.0252 0.0237 0.0021
430-AH 0.0000 0.0000 0.0219 0.0437 0.0437 0.0219 0.0309 0.0437 0.0437 1.4142 0.0007 0.0000 0.0219 0.0000 0.0437 0.0219 0.0309
431-AH 0.5556 0.5556 0.6111 0.6667 0.6667 0.6111 0.0786 0.1111 0.1111 0.1286 0.6086 0.6061 0.0556 0.5556 0.6667 0.6111 0.0786
432-AH 0.3333 0.3333 0.3391 0.3448 0.3448 0.3391 0.0081 0.0115 0.0115 0.0240 0.3390 0.3390 0.0057 0.3333 0.3448 0.3391 0.0081
433-AH 0.3514 0.3514 0.4646 0.5778 0.5778 0.4646 0.1601 0.2264 0.2264 0.3446 0.4506 0.4370 0.1132 0.3514 0.5778 0.4646 0.1601
434-AH 0.9444 0.9444 0.9444 0.9444 0.9444 0.9444 0.0000 0.0000 0.0000 0.0000 0.9444 0.9444 0.0000 0.9444 0.9444 0.9444 0.0000
435-AH 0.1979 0.1979 0.2036 0.2093 0.2093 0.2036 0.0081 0.0114 0.0114 0.0395 0.2035 0.2035 0.0057 0.1979 0.2093 0.2036 0.0081
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.5926 0.5926 0.6163 0.6400 0.6400 0.6163 0.0335 0.0474 0.0474 0.0544 0.6158 0.6154 0.0237 0.5926 0.6400 0.6163 0.0335
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0104 0.0104 0.0262 0.0420 0.0420 0.0262 0.0224 0.0316 0.0316 0.8531 0.0209 0.0167 0.0158 0.0104 0.0420 0.0262 0.0224
440-AH 0.1039 0.1039 0.1631 0.2222 0.2222 0.1631 0.0837 0.1183 0.1183 0.5131 0.1519 0.1416 0.0592 0.1039 0.2222 0.1631 0.0837
441-AH 0.6667 0.6667 0.6771 0.6875 0.6875 0.6771 0.0147 0.0208 0.0208 0.0218 0.6770 0.6769 0.0104 0.6667 0.6875 0.6771 0.0147
442-AH 0.7778 0.7778 0.8333 0.8889 0.8889 0.8333 0.0786 0.1111 0.1111 0.0943 0.8315 0.8296 0.0556 0.7778 0.8889 0.8333 0.0786
443-AH 0.0187 0.0187 0.0333 0.0479 0.0479 0.0333 0.0206 0.0292 0.0292 0.6192 0.0299 0.0269 0.0146 0.0187 0.0479 0.0333 0.0206
444-AH 0.2037 0.2037 0.2301 0.2564 0.2564 0.2301 0.0373 0.0527 0.0527 0.1620 0.2285 0.2270 0.0264 0.2037 0.2564 0.2301 0.0373
445-AH 0.0075 0.0075 0.0083 0.0090 0.0090 0.0083 0.0010 0.0014 0.0014 0.1236 0.0082 0.0082 0.0007 0.0075 0.0090 0.0083 0.0010
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8750 0.8750 0.9062 0.9375 0.9375 0.9062 0.0442 0.0625 0.0625 0.0488 0.9057 0.9052 0.0312 0.8750 0.9375 0.9062 0.0442
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.3864 0.3864 0.5979 0.8095 0.8095 0.5979 0.2992 0.4232 0.4232 0.5004 0.5593 0.5231 0.2116 0.3864 0.8095 0.5979 0.2992
450-AH 0.0727 0.0727 0.0782 0.0837 0.0837 0.0782 0.0078 0.0110 0.0110 0.0992 0.0780 0.0778 0.0055 0.0727 0.0837 0.0782 0.0078
258
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 70% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.3261 0.3261 0.3416 0.3571 0.3571 0.3416 0.0220 0.0311 0.0311 0.0643 0.3413 0.3409 0.0155 0.3261 0.3571 0.3416 0.0220
403-AH 0.0000 0.0000 0.0087 0.0174 0.0174 0.0087 0.0123 0.0174 0.0174 1.4142 0.0004 0.0000 0.0087 0.0000 0.0174 0.0087 0.0123
404-AH 0.0972 0.0972 0.1146 0.1321 0.1321 0.1146 0.0246 0.0349 0.0349 0.2150 0.1133 0.1120 0.0174 0.0972 0.1321 0.1146 0.0246
405-AH 0.5000 0.5000 0.5500 0.6000 0.6000 0.5500 0.0707 0.1000 0.1000 0.1286 0.5477 0.5455 0.0500 0.5000 0.6000 0.5500 0.0707
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1034 0.1034 0.4803 0.8571 0.8571 0.4803 0.5329 0.7537 0.7537 1.1096 0.2978 0.1846 0.3768 0.1034 0.8571 0.4803 0.5329
408-AH 0.0000 0.0000 0.0253 0.0507 0.0507 0.0253 0.0358 0.0507 0.0507 1.4142 0.0007 0.0000 0.0253 0.0000 0.0507 0.0253 0.0358
409-AH 0.1143 0.1143 0.1196 0.1250 0.1250 0.1196 0.0076 0.0107 0.0107 0.0633 0.1195 0.1194 0.0054 0.1143 0.1250 0.1196 0.0076
410-AH 0.8000 0.8000 0.8048 0.8095 0.8095 0.8048 0.0067 0.0095 0.0095 0.0084 0.8047 0.8047 0.0048 0.8000 0.8095 0.8048 0.0067
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.3953 0.3953 0.4001 0.4048 0.4048 0.4001 0.0067 0.0094 0.0094 0.0166 0.4000 0.4000 0.0047 0.3953 0.4048 0.4001 0.0067
414-AH 0.0058 0.0058 0.0088 0.0119 0.0119 0.0088 0.0043 0.0061 0.0061 0.4885 0.0083 0.0078 0.0030 0.0058 0.0119 0.0088 0.0043
415-AH 0.1858 0.1858 0.1909 0.1961 0.1961 0.1909 0.0073 0.0103 0.0103 0.0382 0.1909 0.1908 0.0052 0.1858 0.1961 0.1909 0.0073
416-AH 0.4737 0.4737 0.4868 0.5000 0.5000 0.4868 0.0186 0.0263 0.0263 0.0382 0.4867 0.4865 0.0132 0.4737 0.5000 0.4868 0.0186
417-AH 0.0342 0.0342 0.0366 0.0390 0.0390 0.0366 0.0034 0.0048 0.0048 0.0934 0.0365 0.0364 0.0024 0.0342 0.0390 0.0366 0.0034
418-AH 0.4828 0.4828 0.4842 0.4857 0.4857 0.4842 0.0021 0.0030 0.0030 0.0043 0.4842 0.4842 0.0015 0.4828 0.4857 0.4842 0.0021
419-AH 0.0037 0.0037 0.0046 0.0055 0.0055 0.0046 0.0013 0.0018 0.0018 0.2721 0.0045 0.0044 0.0009 0.0037 0.0055 0.0046 0.0013
420-AH 0.1562 0.1562 0.1734 0.1905 0.1905 0.1734 0.0242 0.0342 0.0342 0.1396 0.1725 0.1717 0.0171 0.1562 0.1905 0.1734 0.0242
421-AH 0.4706 0.4706 0.5000 0.5294 0.5294 0.5000 0.0416 0.0588 0.0588 0.0832 0.4991 0.4983 0.0294 0.4706 0.5294 0.5000 0.0416
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1739 0.1739 0.1779 0.1818 0.1818 0.1779 0.0056 0.0079 0.0079 0.0314 0.1778 0.1778 0.0040 0.1739 0.1818 0.1779 0.0056
424-AH 0.0483 0.0483 0.0753 0.1024 0.1024 0.0753 0.0382 0.0541 0.0541 0.5075 0.0703 0.0656 0.0270 0.0483 0.1024 0.0753 0.0382
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0162 0.0162 0.0220 0.0278 0.0278 0.0220 0.0082 0.0115 0.0115 0.3706 0.0212 0.0205 0.0058 0.0162 0.0278 0.0220 0.0082
427-AH 0.1585 0.1585 0.1615 0.1644 0.1644 0.1615 0.0041 0.0058 0.0058 0.0256 0.1614 0.1614 0.0029 0.1585 0.1644 0.1615 0.0041
428-AH 0.0257 0.0257 0.0301 0.0345 0.0345 0.0301 0.0062 0.0088 0.0088 0.2064 0.0298 0.0295 0.0044 0.0257 0.0345 0.0301 0.0062
429-AH 0.0000 0.0000 0.0060 0.0121 0.0121 0.0060 0.0085 0.0121 0.0121 1.4142 0.0003 0.0000 0.0060 0.0000 0.0121 0.0060 0.0085
430-AH 0.0000 0.0000 0.0219 0.0437 0.0437 0.0219 0.0309 0.0437 0.0437 1.4142 0.0007 0.0000 0.0219 0.0000 0.0437 0.0219 0.0309
431-AH 0.3692 0.3692 0.4110 0.4528 0.4528 0.4110 0.0591 0.0836 0.0836 0.1438 0.4089 0.4068 0.0418 0.3692 0.4528 0.4110 0.0591
432-AH 0.3333 0.3333 0.3391 0.3448 0.3448 0.3391 0.0081 0.0115 0.0115 0.0240 0.3390 0.3390 0.0057 0.3333 0.3448 0.3391 0.0081
433-AH 0.2870 0.2870 0.3606 0.4342 0.4342 0.3606 0.1041 0.1472 0.1472 0.2886 0.3530 0.3456 0.0736 0.2870 0.4342 0.3606 0.1041
434-AH 0.9444 0.9444 0.9444 0.9444 0.9444 0.9444 0.0000 0.0000 0.0000 0.0000 0.9444 0.9444 0.0000 0.9444 0.9444 0.9444 0.0000
435-AH 0.1250 0.1250 0.1538 0.1826 0.1826 0.1538 0.0407 0.0576 0.0576 0.2649 0.1511 0.1484 0.0288 0.1250 0.1826 0.1538 0.0407
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.5789 0.5789 0.5811 0.5833 0.5833 0.5811 0.0031 0.0044 0.0044 0.0053 0.5811 0.5811 0.0022 0.5789 0.5833 0.5811 0.0031
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0104 0.0104 0.0262 0.0420 0.0420 0.0262 0.0224 0.0316 0.0316 0.8531 0.0209 0.0167 0.0158 0.0104 0.0420 0.0262 0.0224
440-AH 0.0753 0.0753 0.1064 0.1375 0.1375 0.1064 0.0440 0.0622 0.0622 0.4130 0.1018 0.0973 0.0311 0.0753 0.1375 0.1064 0.0440
441-AH 0.6667 0.6667 0.6771 0.6875 0.6875 0.6771 0.0147 0.0208 0.0208 0.0218 0.6770 0.6769 0.0104 0.6667 0.6875 0.6771 0.0147
442-AH 0.7778 0.7778 0.8333 0.8889 0.8889 0.8333 0.0786 0.1111 0.1111 0.0943 0.8315 0.8296 0.0556 0.7778 0.8889 0.8333 0.0786
443-AH 0.0000 0.0000 0.0189 0.0378 0.0378 0.0189 0.0267 0.0378 0.0378 1.4142 0.0006 0.0000 0.0189 0.0000 0.0378 0.0189 0.0267
444-AH 0.1237 0.1237 0.1476 0.1714 0.1714 0.1476 0.0337 0.0477 0.0477 0.2286 0.1456 0.1437 0.0239 0.1237 0.1714 0.1476 0.0337
445-AH 0.0075 0.0075 0.0083 0.0090 0.0090 0.0083 0.0010 0.0014 0.0014 0.1236 0.0082 0.0082 0.0007 0.0075 0.0090 0.0083 0.0010
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8750 0.8750 0.8798 0.8846 0.8846 0.8798 0.0068 0.0096 0.0096 0.0077 0.8798 0.8798 0.0048 0.8750 0.8846 0.8798 0.0068
448-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
449-AH 0.2969 0.2969 0.5138 0.7308 0.7308 0.5138 0.3068 0.4339 0.4339 0.5971 0.4658 0.4222 0.2169 0.2969 0.7308 0.5138 0.3068
450-AH 0.0618 0.0618 0.0727 0.0837 0.0837 0.0727 0.0155 0.0219 0.0219 0.2133 0.0719 0.0711 0.0110 0.0618 0.0837 0.0727 0.0155
259
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 80% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.2394 0.2394 0.2466 0.2537 0.2537 0.2466 0.0101 0.0143 0.0143 0.0410 0.2465 0.2464 0.0071 0.2394 0.2537 0.2466 0.0101
403-AH 0.0000 0.0000 0.0067 0.0135 0.0135 0.0067 0.0095 0.0135 0.0135 1.4142 0.0004 0.0000 0.0067 0.0000 0.0135 0.0067 0.0095
404-AH 0.0860 0.0860 0.0885 0.0909 0.0909 0.0885 0.0035 0.0049 0.0049 0.0391 0.0884 0.0884 0.0024 0.0860 0.0909 0.0885 0.0035
405-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0500 0.0500 0.3167 0.5833 0.5833 0.3167 0.3771 0.5333 0.5333 1.1909 0.1708 0.0921 0.2667 0.0500 0.5833 0.3167 0.3771
408-AH 0.0000 0.0000 0.0239 0.0478 0.0478 0.0239 0.0338 0.0478 0.0478 1.4142 0.0007 0.0000 0.0239 0.0000 0.0478 0.0239 0.0338
409-AH 0.1081 0.1081 0.1112 0.1143 0.1143 0.1112 0.0044 0.0062 0.0062 0.0393 0.1112 0.1111 0.0031 0.1081 0.1143 0.1112 0.0044
410-AH 0.7500 0.7500 0.7663 0.7826 0.7826 0.7663 0.0231 0.0326 0.0326 0.0301 0.7661 0.7660 0.0163 0.7500 0.7826 0.7663 0.0231
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.1204 0.1204 0.1223 0.1242 0.1242 0.1223 0.0027 0.0038 0.0038 0.0220 0.1223 0.1223 0.0019 0.1204 0.1242 0.1223 0.0027
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.1753 0.1753 0.1837 0.1922 0.1922 0.1837 0.0119 0.0168 0.0168 0.0648 0.1836 0.1834 0.0084 0.1753 0.1922 0.1837 0.0119
416-AH 0.4286 0.4286 0.4511 0.4737 0.4737 0.4511 0.0319 0.0451 0.0451 0.0707 0.4506 0.4500 0.0226 0.4286 0.4737 0.4511 0.0319
417-AH 0.0342 0.0342 0.0363 0.0385 0.0385 0.0363 0.0030 0.0043 0.0043 0.0837 0.0362 0.0362 0.0022 0.0342 0.0385 0.0363 0.0030
418-AH 0.4750 0.4750 0.4804 0.4857 0.4857 0.4804 0.0076 0.0107 0.0107 0.0158 0.4803 0.4803 0.0054 0.4750 0.4857 0.4804 0.0076
419-AH 0.0037 0.0037 0.0046 0.0055 0.0055 0.0046 0.0013 0.0018 0.0018 0.2721 0.0045 0.0044 0.0009 0.0037 0.0055 0.0046 0.0013
420-AH 0.1076 0.1076 0.1229 0.1382 0.1382 0.1229 0.0216 0.0306 0.0306 0.1761 0.1219 0.1210 0.0153 0.1076 0.1382 0.1229 0.0216
421-AH 0.4706 0.4706 0.5000 0.5294 0.5294 0.5000 0.0416 0.0588 0.0588 0.0832 0.4991 0.4983 0.0294 0.4706 0.5294 0.5000 0.0416
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1739 0.1739 0.1779 0.1818 0.1818 0.1779 0.0056 0.0079 0.0079 0.0314 0.1778 0.1778 0.0040 0.1739 0.1818 0.1779 0.0056
424-AH 0.0346 0.0346 0.0414 0.0483 0.0483 0.0414 0.0097 0.0137 0.0137 0.2344 0.0409 0.0403 0.0069 0.0346 0.0483 0.0414 0.0097
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0162 0.0162 0.0207 0.0252 0.0252 0.0207 0.0063 0.0089 0.0089 0.3052 0.0202 0.0197 0.0045 0.0162 0.0252 0.0207 0.0063
427-AH 0.1585 0.1585 0.1615 0.1644 0.1644 0.1615 0.0041 0.0058 0.0058 0.0256 0.1614 0.1614 0.0029 0.1585 0.1644 0.1615 0.0041
428-AH 0.0122 0.0122 0.0166 0.0209 0.0209 0.0166 0.0062 0.0087 0.0087 0.3722 0.0160 0.0154 0.0044 0.0122 0.0209 0.0166 0.0062
429-AH 0.0000 0.0000 0.0060 0.0120 0.0120 0.0060 0.0085 0.0120 0.0120 1.4142 0.0003 0.0000 0.0060 0.0000 0.0120 0.0060 0.0085
430-AH 0.0000 0.0000 0.0142 0.0284 0.0284 0.0142 0.0201 0.0284 0.0284 1.4142 0.0005 0.0000 0.0142 0.0000 0.0284 0.0142 0.0201
431-AH 0.2828 0.2828 0.3316 0.3803 0.3803 0.3316 0.0689 0.0975 0.0975 0.2078 0.3280 0.3244 0.0487 0.2828 0.3803 0.3316 0.0689
432-AH 0.3333 0.3333 0.3391 0.3448 0.3448 0.3391 0.0081 0.0115 0.0115 0.0240 0.3390 0.3390 0.0057 0.3333 0.3448 0.3391 0.0081
433-AH 0.2397 0.2397 0.3359 0.4321 0.4321 0.3359 0.1360 0.1924 0.1924 0.4050 0.3218 0.3084 0.0962 0.2397 0.4321 0.3359 0.1360
434-AH 0.8400 0.8400 0.8575 0.8750 0.8750 0.8575 0.0247 0.0350 0.0350 0.0289 0.8573 0.8571 0.0175 0.8400 0.8750 0.8575 0.0247
435-AH 0.1143 0.1143 0.1366 0.1589 0.1589 0.1366 0.0316 0.0447 0.0447 0.2311 0.1348 0.1330 0.0223 0.1143 0.1589 0.1366 0.0316
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.5789 0.5789 0.5811 0.5833 0.5833 0.5811 0.0031 0.0044 0.0044 0.0053 0.5811 0.5811 0.0022 0.5789 0.5833 0.5811 0.0031
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0104 0.0104 0.0237 0.0370 0.0370 0.0237 0.0188 0.0266 0.0266 0.7942 0.0196 0.0162 0.0133 0.0104 0.0370 0.0237 0.0188
440-AH 0.0753 0.0753 0.1064 0.1375 0.1375 0.1064 0.0440 0.0622 0.0622 0.4130 0.1018 0.0973 0.0311 0.0753 0.1375 0.1064 0.0440
441-AH 0.6190 0.6190 0.6429 0.6667 0.6667 0.6429 0.0337 0.0476 0.0476 0.0524 0.6424 0.6420 0.0238 0.6190 0.6667 0.6429 0.0337
442-AH 0.6667 0.6667 0.7778 0.8889 0.8889 0.7778 0.1571 0.2222 0.2222 0.2020 0.7698 0.7619 0.1111 0.6667 0.8889 0.7778 0.1571
443-AH 0.0000 0.0000 0.0155 0.0309 0.0309 0.0155 0.0219 0.0309 0.0309 1.4142 0.0006 0.0000 0.0155 0.0000 0.0309 0.0155 0.0219
444-AH 0.1060 0.1060 0.1363 0.1667 0.1667 0.1363 0.0429 0.0607 0.0607 0.3149 0.1329 0.1296 0.0304 0.1060 0.1667 0.1363 0.0429
445-AH 0.0048 0.0048 0.0052 0.0055 0.0055 0.0052 0.0005 0.0007 0.0007 0.0993 0.0052 0.0052 0.0004 0.0048 0.0055 0.0052 0.0005
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8750 0.8750 0.8798 0.8846 0.8846 0.8798 0.0068 0.0096 0.0096 0.0077 0.8798 0.8798 0.0048 0.8750 0.8846 0.8798 0.0068
448-AH 0.1379 0.1379 0.1559 0.1739 0.1739 0.1559 0.0254 0.0360 0.0360 0.1632 0.1549 0.1538 0.0180 0.1379 0.1739 0.1559 0.0254
449-AH 0.2095 0.2095 0.3163 0.4231 0.4231 0.3163 0.1510 0.2136 0.2136 0.4774 0.2977 0.2803 0.1068 0.2095 0.4231 0.3163 0.1510
450-AH 0.0337 0.0337 0.0477 0.0618 0.0618 0.0477 0.0198 0.0281 0.0281 0.4156 0.0456 0.0436 0.0140 0.0337 0.0618 0.0477 0.0198
260
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 90% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0856 0.0856 0.1164 0.1473 0.1473 0.1164 0.0436 0.0617 0.0617 0.3747 0.1123 0.1083 0.0309 0.0856 0.1473 0.1164 0.0436
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0446 0.0446 0.0497 0.0549 0.0549 0.0497 0.0073 0.0103 0.0103 0.1468 0.0494 0.0492 0.0052 0.0446 0.0549 0.0497 0.0073
405-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0132 0.0132 0.2288 0.4444 0.4444 0.2288 0.3050 0.4313 0.4313 1.3328 0.0765 0.0256 0.2156 0.0132 0.4444 0.2288 0.3050
408-AH 0.0000 0.0000 0.0157 0.0315 0.0315 0.0157 0.0223 0.0315 0.0315 1.4142 0.0006 0.0000 0.0157 0.0000 0.0315 0.0157 0.0223
409-AH 0.1081 0.1081 0.1112 0.1143 0.1143 0.1112 0.0044 0.0062 0.0062 0.0393 0.1112 0.1111 0.0031 0.1081 0.1143 0.1112 0.0044
410-AH 0.4651 0.4651 0.5267 0.5882 0.5882 0.5267 0.0871 0.1231 0.1231 0.1653 0.5231 0.5195 0.0616 0.4651 0.5882 0.5267 0.0871
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.1028 0.1028 0.1116 0.1204 0.1204 0.1116 0.0125 0.0176 0.0176 0.1116 0.1113 0.1109 0.0088 0.1028 0.1204 0.1116 0.0125
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.1253 0.1253 0.1293 0.1333 0.1333 0.1293 0.0057 0.0081 0.0081 0.0441 0.1292 0.1292 0.0040 0.1253 0.1333 0.1293 0.0057
416-AH 0.2326 0.2326 0.3086 0.3846 0.3846 0.3086 0.1075 0.1521 0.1521 0.3484 0.2991 0.2899 0.0760 0.2326 0.3846 0.3086 0.1075
417-AH 0.0342 0.0342 0.0362 0.0383 0.0383 0.0362 0.0029 0.0042 0.0042 0.0810 0.0362 0.0361 0.0021 0.0342 0.0383 0.0362 0.0029
418-AH 0.4750 0.4750 0.4750 0.4750 0.4750 0.4750 0.0000 0.0000 0.0000 0.0000 0.4750 0.4750 0.0000 0.4750 0.4750 0.4750 0.0000
419-AH 0.0037 0.0037 0.0046 0.0055 0.0055 0.0046 0.0013 0.0018 0.0018 0.2721 0.0045 0.0044 0.0009 0.0037 0.0055 0.0046 0.0013
420-AH 0.0691 0.0691 0.0876 0.1061 0.1061 0.0876 0.0262 0.0371 0.0371 0.2990 0.0856 0.0837 0.0185 0.0691 0.1061 0.0876 0.0262
421-AH 0.4286 0.4286 0.4790 0.5294 0.5294 0.4790 0.0713 0.1008 0.1008 0.1489 0.4763 0.4737 0.0504 0.4286 0.5294 0.4790 0.0713
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1562 0.1562 0.1588 0.1613 0.1613 0.1588 0.0036 0.0050 0.0050 0.0224 0.1588 0.1587 0.0025 0.1562 0.1613 0.1588 0.0036
424-AH 0.0262 0.0262 0.0372 0.0483 0.0483 0.0372 0.0156 0.0221 0.0221 0.4196 0.0356 0.0340 0.0111 0.0262 0.0483 0.0372 0.0156
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0082 0.0082 0.0099 0.0116 0.0116 0.0099 0.0024 0.0035 0.0035 0.2469 0.0097 0.0096 0.0017 0.0082 0.0116 0.0099 0.0024
427-AH 0.1458 0.1458 0.1522 0.1585 0.1585 0.1522 0.0090 0.0127 0.0127 0.0590 0.1521 0.1519 0.0064 0.1458 0.1585 0.1522 0.0090
428-AH 0.0000 0.0000 0.0071 0.0142 0.0142 0.0071 0.0100 0.0142 0.0142 1.4142 0.0004 0.0000 0.0071 0.0000 0.0142 0.0071 0.0100
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.1087 0.1087 0.1475 0.1863 0.1863 0.1475 0.0549 0.0776 0.0776 0.3722 0.1423 0.1373 0.0388 0.1087 0.1863 0.1475 0.0549
432-AH 0.2667 0.2667 0.3000 0.3333 0.3333 0.3000 0.0471 0.0667 0.0667 0.1571 0.2981 0.2963 0.0333 0.2667 0.3333 0.3000 0.0471
433-AH 0.2167 0.2167 0.2191 0.2216 0.2216 0.2191 0.0035 0.0049 0.0049 0.0159 0.2191 0.2191 0.0025 0.2167 0.2216 0.2191 0.0035
434-AH 0.8148 0.8148 0.8305 0.8462 0.8462 0.8305 0.0222 0.0313 0.0313 0.0267 0.8303 0.8302 0.0157 0.8148 0.8462 0.8305 0.0222
435-AH 0.0572 0.0572 0.0964 0.1357 0.1357 0.0964 0.0555 0.0785 0.0785 0.5754 0.0881 0.0805 0.0392 0.0572 0.1357 0.0964 0.0555
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.3934 0.3934 0.4149 0.4364 0.4364 0.4149 0.0303 0.0429 0.0429 0.0731 0.4143 0.4138 0.0215 0.3934 0.4364 0.4149 0.0303
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0103 0.0103 0.0148 0.0193 0.0193 0.0148 0.0064 0.0090 0.0090 0.4306 0.0141 0.0134 0.0045 0.0103 0.0193 0.0148 0.0064
440-AH 0.0660 0.0660 0.0924 0.1188 0.1188 0.0924 0.0374 0.0528 0.0528 0.4042 0.0885 0.0849 0.0264 0.0660 0.1188 0.0924 0.0374
441-AH 0.5385 0.5385 0.5692 0.6000 0.6000 0.5692 0.0435 0.0615 0.0615 0.0764 0.5684 0.5676 0.0308 0.5385 0.6000 0.5692 0.0435
442-AH 0.1765 0.1765 0.1782 0.1800 0.1800 0.1782 0.0025 0.0035 0.0035 0.0140 0.1782 0.1782 0.0018 0.1765 0.1800 0.1782 0.0025
443-AH 0.0000 0.0000 0.0135 0.0271 0.0271 0.0135 0.0192 0.0271 0.0271 1.4142 0.0005 0.0000 0.0135 0.0000 0.0271 0.0135 0.0192
444-AH 0.0711 0.0711 0.0885 0.1060 0.1060 0.0885 0.0247 0.0349 0.0349 0.2785 0.0868 0.0851 0.0174 0.0711 0.1060 0.0885 0.0247
445-AH 0.0048 0.0048 0.0052 0.0055 0.0055 0.0052 0.0005 0.0007 0.0007 0.0993 0.0052 0.0052 0.0004 0.0048 0.0055 0.0052 0.0005
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8750 0.8750 0.8798 0.8846 0.8846 0.8798 0.0068 0.0096 0.0096 0.0077 0.8798 0.8798 0.0048 0.8750 0.8846 0.8798 0.0068
448-AH 0.1379 0.1379 0.1559 0.1739 0.1739 0.1559 0.0254 0.0360 0.0360 0.1632 0.1549 0.1538 0.0180 0.1379 0.1739 0.1559 0.0254
449-AH 0.0670 0.0670 0.1637 0.2604 0.2604 0.1637 0.1368 0.1934 0.1934 0.8354 0.1321 0.1066 0.0967 0.0670 0.2604 0.1637 0.1368
450-AH 0.0000 0.0000 0.0241 0.0483 0.0483 0.0241 0.0341 0.0483 0.0483 1.4142 0.0007 0.0000 0.0241 0.0000 0.0483 0.0241 0.0341
261
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for Precision at the 100% interpolated recall level
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
403-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
404-AH 0.0446 0.0446 0.0497 0.0549 0.0549 0.0497 0.0073 0.0103 0.0103 0.1468 0.0494 0.0492 0.0052 0.0446 0.0549 0.0497 0.0073
405-AH 0.2857 0.2857 0.3095 0.3333 0.3333 0.3095 0.0337 0.0476 0.0476 0.1088 0.3086 0.3077 0.0238 0.2857 0.3333 0.3095 0.0337
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0132 0.0132 0.2288 0.4444 0.4444 0.2288 0.3050 0.4313 0.4313 1.3328 0.0765 0.0256 0.2156 0.0132 0.4444 0.2288 0.3050
408-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
409-AH 0.1081 0.1081 0.1112 0.1143 0.1143 0.1112 0.0044 0.0062 0.0062 0.0393 0.1112 0.1111 0.0031 0.1081 0.1143 0.1112 0.0044
410-AH 0.1849 0.1849 0.2519 0.3188 0.3188 0.2519 0.0947 0.1340 0.1340 0.3761 0.2428 0.2340 0.0670 0.1849 0.3188 0.2519 0.0947
411-AH 0.0588 0.0588 0.0850 0.1111 0.1111 0.0850 0.0370 0.0523 0.0523 0.4351 0.0808 0.0769 0.0261 0.0588 0.1111 0.0850 0.0370
412-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
413-AH 0.0857 0.0857 0.1026 0.1194 0.1194 0.1026 0.0238 0.0337 0.0337 0.2323 0.1012 0.0998 0.0168 0.0857 0.1194 0.1026 0.0238
414-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.0827 0.0827 0.0948 0.1068 0.1068 0.0948 0.0170 0.0241 0.0241 0.1798 0.0940 0.0932 0.0120 0.0827 0.1068 0.0948 0.0170
417-AH 0.0342 0.0342 0.0349 0.0356 0.0356 0.0349 0.0010 0.0014 0.0014 0.0291 0.0349 0.0349 0.0007 0.0342 0.0356 0.0349 0.0010
418-AH 0.4750 0.4750 0.4750 0.4750 0.4750 0.4750 0.0000 0.0000 0.0000 0.0000 0.4750 0.4750 0.0000 0.4750 0.4750 0.4750 0.0000
419-AH 0.0037 0.0037 0.0046 0.0055 0.0055 0.0046 0.0013 0.0018 0.0018 0.2721 0.0045 0.0044 0.0009 0.0037 0.0055 0.0046 0.0013
420-AH 0.0284 0.0284 0.0397 0.0510 0.0510 0.0397 0.0159 0.0226 0.0226 0.4018 0.0381 0.0365 0.0113 0.0284 0.0510 0.0397 0.0159
421-AH 0.4286 0.4286 0.4790 0.5294 0.5294 0.4790 0.0713 0.1008 0.1008 0.1489 0.4763 0.4737 0.0504 0.4286 0.5294 0.4790 0.0713
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1562 0.1562 0.1588 0.1613 0.1613 0.1588 0.0036 0.0050 0.0050 0.0224 0.1588 0.1587 0.0025 0.1562 0.1613 0.1588 0.0036
424-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0082 0.0082 0.0099 0.0116 0.0116 0.0099 0.0024 0.0035 0.0035 0.2469 0.0097 0.0096 0.0017 0.0082 0.0116 0.0099 0.0024
427-AH 0.1458 0.1458 0.1507 0.1556 0.1556 0.1507 0.0069 0.0097 0.0097 0.0456 0.1506 0.1505 0.0049 0.1458 0.1556 0.1507 0.0069
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.0000 0.0000 0.0200 0.0401 0.0401 0.0200 0.0284 0.0401 0.0401 1.4142 0.0006 0.0000 0.0200 0.0000 0.0401 0.0200 0.0284
432-AH 0.2449 0.2449 0.2558 0.2667 0.2667 0.2558 0.0154 0.0218 0.0218 0.0602 0.2556 0.2553 0.0109 0.2449 0.2667 0.2558 0.0154
433-AH 0.0000 0.0000 0.0411 0.0822 0.0822 0.0411 0.0581 0.0822 0.0822 1.4142 0.0009 0.0000 0.0411 0.0000 0.0822 0.0411 0.0581
434-AH 0.7742 0.7742 0.7871 0.8000 0.8000 0.7871 0.0182 0.0258 0.0258 0.0232 0.7870 0.7869 0.0129 0.7742 0.8000 0.7871 0.0182
435-AH 0.0000 0.0000 0.0218 0.0436 0.0436 0.0218 0.0308 0.0436 0.0436 1.4142 0.0007 0.0000 0.0218 0.0000 0.0436 0.0218 0.0308
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0767 0.0767 0.0838 0.0909 0.0909 0.0838 0.0101 0.0142 0.0142 0.1199 0.0835 0.0832 0.0071 0.0767 0.0909 0.0838 0.0101
438-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
439-AH 0.0103 0.0103 0.0148 0.0193 0.0193 0.0148 0.0064 0.0090 0.0090 0.4306 0.0141 0.0134 0.0045 0.0103 0.0193 0.0148 0.0064
440-AH 0.0586 0.0586 0.0623 0.0660 0.0660 0.0623 0.0053 0.0074 0.0074 0.0844 0.0622 0.0621 0.0037 0.0586 0.0660 0.0623 0.0053
441-AH 0.3333 0.3333 0.4667 0.6000 0.6000 0.4667 0.1886 0.2667 0.2667 0.4041 0.4472 0.4286 0.1333 0.3333 0.6000 0.4667 0.1886
442-AH 0.1765 0.1765 0.1782 0.1800 0.1800 0.1782 0.0025 0.0035 0.0035 0.0140 0.1782 0.1782 0.0018 0.1765 0.1800 0.1782 0.0025
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.0632 0.0632 0.0846 0.1060 0.1060 0.0846 0.0302 0.0427 0.0427 0.3571 0.0819 0.0792 0.0214 0.0632 0.1060 0.0846 0.0302
445-AH 0.0048 0.0048 0.0052 0.0055 0.0055 0.0052 0.0005 0.0007 0.0007 0.0993 0.0052 0.0052 0.0004 0.0048 0.0055 0.0052 0.0005
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8519 0.8519 0.8682 0.8846 0.8846 0.8682 0.0232 0.0328 0.0328 0.0267 0.8681 0.8679 0.0164 0.8519 0.8846 0.8682 0.0232
448-AH 0.1379 0.1379 0.1559 0.1739 0.1739 0.1559 0.0254 0.0360 0.0360 0.1632 0.1549 0.1538 0.0180 0.1379 0.1739 0.1559 0.0254
449-AH 0.0667 0.0667 0.1497 0.2328 0.2328 0.1497 0.1174 0.1661 0.1661 0.7845 0.1246 0.1036 0.0830 0.0667 0.2328 0.1497 0.1174
450-AH 0.0000 0.0000 0.0132 0.0264 0.0264 0.0132 0.0187 0.0264 0.0264 1.4142 0.0005 0.0000 0.0132 0.0000 0.0264 0.0132 0.0187
262
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@5
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
402-AH 0.2000 0.2000 0.4000 0.6000 0.6000 0.4000 0.2828 0.4000 0.4000 0.7071 0.3464 0.3000 0.2000 0.2000 0.6000 0.4000 0.2828
403-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
404-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
405-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.2000 0.2000 0.6000 1.0000 1.0000 0.6000 0.5657 0.8000 0.8000 0.9428 0.4472 0.3333 0.4000 0.2000 1.0000 0.6000 0.5657
408-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
409-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
410-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
411-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
412-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
413-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
414-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.2000 0.2000 0.3000 0.4000 0.4000 0.3000 0.1414 0.2000 0.2000 0.4714 0.2828 0.2667 0.1000 0.2000 0.4000 0.3000 0.1414
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.4000 0.4000 0.6000 0.8000 0.8000 0.6000 0.2828 0.4000 0.4000 0.4714 0.5657 0.5333 0.2000 0.4000 0.8000 0.6000 0.2828
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.4000 0.4000 0.6000 0.8000 0.8000 0.6000 0.2828 0.4000 0.4000 0.4714 0.5657 0.5333 0.2000 0.4000 0.8000 0.6000 0.2828
421-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0000 0.0000 0.1000 0.2000 0.2000 0.1000 0.1414 0.2000 0.2000 1.4142 0.0014 0.0000 0.1000 0.0000 0.2000 0.1000 0.1414
424-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
425-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.2000 0.2000 0.3000 0.4000 0.4000 0.3000 0.1414 0.2000 0.2000 0.4714 0.2828 0.2667 0.1000 0.2000 0.4000 0.3000 0.1414
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
430-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
431-AH 0.2000 0.2000 0.4000 0.6000 0.6000 0.4000 0.2828 0.4000 0.4000 0.7071 0.3464 0.3000 0.2000 0.2000 0.6000 0.4000 0.2828
432-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
433-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
434-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
435-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
438-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.2000 0.2000 0.3000 0.4000 0.4000 0.3000 0.1414 0.2000 0.2000 0.4714 0.2828 0.2667 0.1000 0.2000 0.4000 0.3000 0.1414
441-AH 0.6000 0.6000 0.7000 0.8000 0.8000 0.7000 0.1414 0.2000 0.2000 0.2020 0.6928 0.6857 0.1000 0.6000 0.8000 0.7000 0.1414
442-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.2000 0.2000 0.4000 0.6000 0.6000 0.4000 0.2828 0.4000 0.4000 0.7071 0.3464 0.3000 0.2000 0.2000 0.6000 0.4000 0.2828
445-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8000 0.8000 0.9000 1.0000 1.0000 0.9000 0.1414 0.2000 0.2000 0.1571 0.8944 0.8889 0.1000 0.8000 1.0000 0.9000 0.1414
448-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
449-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
450-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
263
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@10
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
402-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
403-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
404-AH 0.2000 0.2000 0.2500 0.3000 0.3000 0.2500 0.0707 0.1000 0.1000 0.2828 0.2449 0.2400 0.0500 0.2000 0.3000 0.2500 0.0707
405-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.2000 0.2000 0.4000 0.6000 0.6000 0.4000 0.2828 0.4000 0.4000 0.7071 0.3464 0.3000 0.2000 0.2000 0.6000 0.4000 0.2828
408-AH 0.3000 0.3000 0.3500 0.4000 0.4000 0.3500 0.0707 0.1000 0.1000 0.2020 0.3464 0.3429 0.0500 0.3000 0.4000 0.3500 0.0707
409-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
410-AH 0.9000 0.9000 0.9000 0.9000 0.9000 0.9000 0.0000 0.0000 0.0000 0.0000 0.9000 0.9000 0.0000 0.9000 0.9000 0.9000 0.0000
411-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
412-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
413-AH 0.7000 0.7000 0.7000 0.7000 0.7000 0.7000 0.0000 0.0000 0.0000 0.0000 0.7000 0.7000 0.0000 0.7000 0.7000 0.7000 0.0000
414-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.5000 0.5000 0.5000 0.5000 0.5000 0.5000 0.0000 0.0000 0.0000 0.0000 0.5000 0.5000 0.0000 0.5000 0.5000 0.5000 0.0000
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.6000 0.6000 0.6500 0.7000 0.7000 0.6500 0.0707 0.1000 0.1000 0.1088 0.6481 0.6462 0.0500 0.6000 0.7000 0.6500 0.0707
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.4000 0.4000 0.5000 0.6000 0.6000 0.5000 0.1414 0.2000 0.2000 0.2828 0.4899 0.4800 0.1000 0.4000 0.6000 0.5000 0.1414
421-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2000 0.2000 0.2500 0.3000 0.3000 0.2500 0.0707 0.1000 0.1000 0.2828 0.2449 0.2400 0.0500 0.2000 0.3000 0.2500 0.0707
424-AH 0.4000 0.4000 0.4500 0.5000 0.5000 0.4500 0.0707 0.1000 0.1000 0.1571 0.4472 0.4444 0.0500 0.4000 0.5000 0.4500 0.0707
425-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.2000 0.2000 0.2500 0.3000 0.3000 0.2500 0.0707 0.1000 0.1000 0.2828 0.2449 0.2400 0.0500 0.2000 0.3000 0.2500 0.0707
428-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
429-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
430-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
431-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
432-AH 0.3000 0.3000 0.3500 0.4000 0.4000 0.3500 0.0707 0.1000 0.1000 0.2020 0.3464 0.3429 0.0500 0.3000 0.4000 0.3500 0.0707
433-AH 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 0.0000 1.0000 1.0000 1.0000 0.0000
434-AH 0.9000 0.9000 0.9500 1.0000 1.0000 0.9500 0.0707 0.1000 0.1000 0.0744 0.9487 0.9474 0.0500 0.9000 1.0000 0.9500 0.0707
435-AH 0.1000 0.1000 0.2000 0.3000 0.3000 0.2000 0.1414 0.2000 0.2000 0.7071 0.1732 0.1500 0.1000 0.1000 0.3000 0.2000 0.1414
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.7000 0.7000 0.7500 0.8000 0.8000 0.7500 0.0707 0.1000 0.1000 0.0943 0.7483 0.7467 0.0500 0.7000 0.8000 0.7500 0.0707
438-AH 0.2000 0.2000 0.2500 0.3000 0.3000 0.2500 0.0707 0.1000 0.1000 0.2828 0.2449 0.2400 0.0500 0.2000 0.3000 0.2500 0.0707
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.1000 0.1000 0.2500 0.4000 0.4000 0.2500 0.2121 0.3000 0.3000 0.8485 0.2000 0.1600 0.1500 0.1000 0.4000 0.2500 0.2121
441-AH 0.6000 0.6000 0.6500 0.7000 0.7000 0.6500 0.0707 0.1000 0.1000 0.1088 0.6481 0.6462 0.0500 0.6000 0.7000 0.6500 0.0707
442-AH 0.7000 0.7000 0.7500 0.8000 0.8000 0.7500 0.0707 0.1000 0.1000 0.0943 0.7483 0.7467 0.0500 0.7000 0.8000 0.7500 0.0707
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.4000 0.4000 0.4500 0.5000 0.5000 0.4500 0.0707 0.1000 0.1000 0.1571 0.4472 0.4444 0.0500 0.4000 0.5000 0.4500 0.0707
445-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.9000 0.9000 0.9500 1.0000 1.0000 0.9500 0.0707 0.1000 0.1000 0.0744 0.9487 0.9474 0.0500 0.9000 1.0000 0.9500 0.0707
448-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
449-AH 0.8000 0.8000 0.8500 0.9000 0.9000 0.8500 0.0707 0.1000 0.1000 0.0832 0.8485 0.8471 0.0500 0.8000 0.9000 0.8500 0.0707
450-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
264
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@15
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
402-AH 0.4667 0.4667 0.5000 0.5333 0.5333 0.5000 0.0471 0.0667 0.0667 0.0943 0.4989 0.4978 0.0333 0.4667 0.5333 0.5000 0.0471
403-AH 0.0000 0.0000 0.0667 0.1333 0.1333 0.0667 0.0943 0.1333 0.1333 1.4142 0.0012 0.0000 0.0667 0.0000 0.1333 0.0667 0.0943
404-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
405-AH 0.2667 0.2667 0.2667 0.2667 0.2667 0.2667 0.0000 0.0000 0.0000 0.0000 0.2667 0.2667 0.0000 0.2667 0.2667 0.2667 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.2000 0.2000 0.3333 0.4667 0.4667 0.3333 0.1886 0.2667 0.2667 0.5657 0.3055 0.2800 0.1333 0.2000 0.4667 0.3333 0.1886
408-AH 0.2000 0.2000 0.2667 0.3333 0.3333 0.2667 0.0943 0.1333 0.1333 0.3536 0.2582 0.2500 0.0667 0.2000 0.3333 0.2667 0.0943
409-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
410-AH 0.8000 0.8000 0.8333 0.8667 0.8667 0.8333 0.0471 0.0667 0.0667 0.0566 0.8327 0.8320 0.0333 0.8000 0.8667 0.8333 0.0471
411-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
412-AH 0.0667 0.0667 0.1333 0.2000 0.2000 0.1333 0.0943 0.1333 0.1333 0.7071 0.1155 0.1000 0.0667 0.0667 0.2000 0.1333 0.0943
413-AH 0.6000 0.6000 0.6333 0.6667 0.6667 0.6333 0.0471 0.0667 0.0667 0.0744 0.6325 0.6316 0.0333 0.6000 0.6667 0.6333 0.0471
414-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.5333 0.5333 0.5667 0.6000 0.6000 0.5667 0.0471 0.0667 0.0667 0.0832 0.5657 0.5647 0.0333 0.5333 0.6000 0.5667 0.0471
419-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
420-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
421-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
424-AH 0.3333 0.3333 0.3667 0.4000 0.4000 0.3667 0.0471 0.0667 0.0667 0.1286 0.3651 0.3636 0.0333 0.3333 0.4000 0.3667 0.0471
425-AH 0.0667 0.0667 0.1000 0.1333 0.1333 0.1000 0.0471 0.0667 0.0667 0.4714 0.0943 0.0889 0.0333 0.0667 0.1333 0.1000 0.0471
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.2667 0.2667 0.3000 0.3333 0.3333 0.3000 0.0471 0.0667 0.0667 0.1571 0.2981 0.2963 0.0333 0.2667 0.3333 0.3000 0.0471
428-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
429-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
430-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
431-AH 0.6000 0.6000 0.6000 0.6000 0.6000 0.6000 0.0000 0.0000 0.0000 0.0000 0.6000 0.6000 0.0000 0.6000 0.6000 0.6000 0.0000
432-AH 0.2667 0.2667 0.3000 0.3333 0.3333 0.3000 0.0471 0.0667 0.0667 0.1571 0.2981 0.2963 0.0333 0.2667 0.3333 0.3000 0.0471
433-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
434-AH 0.9333 0.9333 0.9333 0.9333 0.9333 0.9333 0.0000 0.0000 0.0000 0.0000 0.9333 0.9333 0.0000 0.9333 0.9333 0.9333 0.0000
435-AH 0.1333 0.1333 0.2000 0.2667 0.2667 0.2000 0.0943 0.1333 0.1333 0.4714 0.1886 0.1778 0.0667 0.1333 0.2667 0.2000 0.0943
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.6000 0.6000 0.6333 0.6667 0.6667 0.6333 0.0471 0.0667 0.0667 0.0744 0.6325 0.6316 0.0333 0.6000 0.6667 0.6333 0.0471
438-AH 0.1333 0.1333 0.1667 0.2000 0.2000 0.1667 0.0471 0.0667 0.0667 0.2828 0.1633 0.1600 0.0333 0.1333 0.2000 0.1667 0.0471
439-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
440-AH 0.0667 0.0667 0.1667 0.2667 0.2667 0.1667 0.1414 0.2000 0.2000 0.8485 0.1333 0.1067 0.1000 0.0667 0.2667 0.1667 0.1414
441-AH 0.6667 0.6667 0.6667 0.6667 0.6667 0.6667 0.0000 0.0000 0.0000 0.0000 0.6667 0.6667 0.0000 0.6667 0.6667 0.6667 0.0000
442-AH 0.5333 0.5333 0.5333 0.5333 0.5333 0.5333 0.0000 0.0000 0.0000 0.0000 0.5333 0.5333 0.0000 0.5333 0.5333 0.5333 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.4000 0.4000 0.4333 0.4667 0.4667 0.4333 0.0471 0.0667 0.0667 0.1088 0.4320 0.4308 0.0333 0.4000 0.4667 0.4333 0.0471
445-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8667 0.8667 0.9000 0.9333 0.9333 0.9000 0.0471 0.0667 0.0667 0.0524 0.8994 0.8988 0.0333 0.8667 0.9333 0.9000 0.0471
448-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
449-AH 0.6000 0.6000 0.7333 0.8667 0.8667 0.7333 0.1886 0.2667 0.2667 0.2571 0.7211 0.7091 0.1333 0.6000 0.8667 0.7333 0.1886
450-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
265
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@20
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
402-AH 0.4500 0.4500 0.4500 0.4500 0.4500 0.4500 0.0000 0.0000 0.0000 0.0000 0.4500 0.4500 0.0000 0.4500 0.4500 0.4500 0.0000
403-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
404-AH 0.1500 0.1500 0.1500 0.1500 0.1500 0.1500 0.0000 0.0000 0.0000 0.0000 0.1500 0.1500 0.0000 0.1500 0.1500 0.1500 0.0000
405-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1500 0.1500 0.2750 0.4000 0.4000 0.2750 0.1768 0.2500 0.2500 0.6428 0.2449 0.2182 0.1250 0.1500 0.4000 0.2750 0.1768
408-AH 0.1500 0.1500 0.2000 0.2500 0.2500 0.2000 0.0707 0.1000 0.1000 0.3536 0.1936 0.1875 0.0500 0.1500 0.2500 0.2000 0.0707
409-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
410-AH 0.8000 0.8000 0.8000 0.8000 0.8000 0.8000 0.0000 0.0000 0.0000 0.0000 0.8000 0.8000 0.0000 0.8000 0.8000 0.8000 0.0000
411-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
412-AH 0.0500 0.0500 0.1000 0.1500 0.1500 0.1000 0.0707 0.1000 0.1000 0.7071 0.0866 0.0750 0.0500 0.0500 0.1500 0.1000 0.0707
413-AH 0.5500 0.5500 0.5500 0.5500 0.5500 0.5500 0.0000 0.0000 0.0000 0.0000 0.5500 0.5500 0.0000 0.5500 0.5500 0.5500 0.0000
414-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
415-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
416-AH 0.4000 0.4000 0.4250 0.4500 0.4500 0.4250 0.0354 0.0500 0.0500 0.0832 0.4243 0.4235 0.0250 0.4000 0.4500 0.4250 0.0354
417-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
418-AH 0.5500 0.5500 0.5750 0.6000 0.6000 0.5750 0.0354 0.0500 0.0500 0.0615 0.5745 0.5739 0.0250 0.5500 0.6000 0.5750 0.0354
419-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
420-AH 0.3500 0.3500 0.3750 0.4000 0.4000 0.3750 0.0354 0.0500 0.0500 0.0943 0.3742 0.3733 0.0250 0.3500 0.4000 0.3750 0.0354
421-AH 0.4000 0.4000 0.4250 0.4500 0.4500 0.4250 0.0354 0.0500 0.0500 0.0832 0.4243 0.4235 0.0250 0.4000 0.4500 0.4250 0.0354
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1500 0.1500 0.1500 0.1500 0.1500 0.1500 0.0000 0.0000 0.0000 0.0000 0.1500 0.1500 0.0000 0.1500 0.1500 0.1500 0.0000
424-AH 0.2500 0.2500 0.2750 0.3000 0.3000 0.2750 0.0354 0.0500 0.0500 0.1286 0.2739 0.2727 0.0250 0.2500 0.3000 0.2750 0.0354
425-AH 0.0500 0.0500 0.0750 0.1000 0.1000 0.0750 0.0354 0.0500 0.0500 0.4714 0.0707 0.0667 0.0250 0.0500 0.1000 0.0750 0.0354
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.2500 0.2500 0.2500 0.2500 0.2500 0.2500 0.0000 0.0000 0.0000 0.0000 0.2500 0.2500 0.0000 0.2500 0.2500 0.2500 0.0000
428-AH 0.0000 0.0000 0.0500 0.1000 0.1000 0.0500 0.0707 0.1000 0.1000 1.4142 0.0010 0.0000 0.0500 0.0000 0.1000 0.0500 0.0707
429-AH 0.1000 0.1000 0.1250 0.1500 0.1500 0.1250 0.0354 0.0500 0.0500 0.2828 0.1225 0.1200 0.0250 0.1000 0.1500 0.1250 0.0354
430-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
431-AH 0.6000 0.6000 0.6250 0.6500 0.6500 0.6250 0.0354 0.0500 0.0500 0.0566 0.6245 0.6240 0.0250 0.6000 0.6500 0.6250 0.0354
432-AH 0.2500 0.2500 0.2750 0.3000 0.3000 0.2750 0.0354 0.0500 0.0500 0.1286 0.2739 0.2727 0.0250 0.2500 0.3000 0.2750 0.0354
433-AH 0.7000 0.7000 0.7500 0.8000 0.8000 0.7500 0.0707 0.1000 0.1000 0.0943 0.7483 0.7467 0.0500 0.7000 0.8000 0.7500 0.0707
434-AH 0.8500 0.8500 0.8500 0.8500 0.8500 0.8500 0.0000 0.0000 0.0000 0.0000 0.8500 0.8500 0.0000 0.8500 0.8500 0.8500 0.0000
435-AH 0.1500 0.1500 0.1750 0.2000 0.2000 0.1750 0.0354 0.0500 0.0500 0.2020 0.1732 0.1714 0.0250 0.1500 0.2000 0.1750 0.0354
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.5500 0.5500 0.5750 0.6000 0.6000 0.5750 0.0354 0.0500 0.0500 0.0615 0.5745 0.5739 0.0250 0.5500 0.6000 0.5750 0.0354
438-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
439-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
440-AH 0.1500 0.1500 0.2250 0.3000 0.3000 0.2250 0.1061 0.1500 0.1500 0.4714 0.2121 0.2000 0.0750 0.1500 0.3000 0.2250 0.1061
441-AH 0.6000 0.6000 0.6250 0.6500 0.6500 0.6250 0.0354 0.0500 0.0500 0.0566 0.6245 0.6240 0.0250 0.6000 0.6500 0.6250 0.0354
442-AH 0.4000 0.4000 0.4000 0.4000 0.4000 0.4000 0.0000 0.0000 0.0000 0.0000 0.4000 0.4000 0.0000 0.4000 0.4000 0.4000 0.0000
443-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
444-AH 0.3000 0.3000 0.3250 0.3500 0.3500 0.3250 0.0354 0.0500 0.0500 0.1088 0.3240 0.3231 0.0250 0.3000 0.3500 0.3250 0.0354
445-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.8500 0.8500 0.8500 0.8500 0.8500 0.8500 0.0000 0.0000 0.0000 0.0000 0.8500 0.8500 0.0000 0.8500 0.8500 0.8500 0.0000
448-AH 0.1500 0.1500 0.1500 0.1500 0.1500 0.1500 0.0000 0.0000 0.0000 0.0000 0.1500 0.1500 0.0000 0.1500 0.1500 0.1500 0.0000
449-AH 0.5500 0.5500 0.6750 0.8000 0.8000 0.6750 0.1768 0.2500 0.2500 0.2619 0.6633 0.6519 0.1250 0.5500 0.8000 0.6750 0.1768
450-AH 0.3000 0.3000 0.3250 0.3500 0.3500 0.3250 0.0354 0.0500 0.0500 0.1088 0.3240 0.3231 0.0250 0.3000 0.3500 0.3250 0.0354
266
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@30
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
402-AH 0.4333 0.4333 0.4333 0.4333 0.4333 0.4333 0.0000 0.0000 0.0000 0.0000 0.4333 0.4333 0.0000 0.4333 0.4333 0.4333 0.0000
403-AH 0.0333 0.0333 0.0500 0.0667 0.0667 0.0500 0.0236 0.0333 0.0333 0.4714 0.0471 0.0444 0.0167 0.0333 0.0667 0.0500 0.0236
404-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
405-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.1333 0.1333 0.2000 0.2667 0.2667 0.2000 0.0943 0.1333 0.1333 0.4714 0.1886 0.1778 0.0667 0.1333 0.2667 0.2000 0.0943
408-AH 0.1000 0.1000 0.1500 0.2000 0.2000 0.1500 0.0707 0.1000 0.1000 0.4714 0.1414 0.1333 0.0500 0.1000 0.2000 0.1500 0.0707
409-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
410-AH 0.6000 0.6000 0.6167 0.6333 0.6333 0.6167 0.0236 0.0333 0.0333 0.0382 0.6164 0.6162 0.0167 0.6000 0.6333 0.6167 0.0236
411-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
412-AH 0.0333 0.0333 0.1000 0.1667 0.1667 0.1000 0.0943 0.1333 0.1333 0.9428 0.0745 0.0556 0.0667 0.0333 0.1667 0.1000 0.0943
413-AH 0.4333 0.4333 0.4333 0.4333 0.4333 0.4333 0.0000 0.0000 0.0000 0.0000 0.4333 0.4333 0.0000 0.4333 0.4333 0.4333 0.0000
414-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
415-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
416-AH 0.3000 0.3000 0.3167 0.3333 0.3333 0.3167 0.0236 0.0333 0.0333 0.0744 0.3162 0.3158 0.0167 0.3000 0.3333 0.3167 0.0236
417-AH 0.0000 0.0000 0.0333 0.0667 0.0667 0.0333 0.0471 0.0667 0.0667 1.4142 0.0008 0.0000 0.0333 0.0000 0.0667 0.0333 0.0471
418-AH 0.4333 0.4333 0.4500 0.4667 0.4667 0.4500 0.0236 0.0333 0.0333 0.0524 0.4497 0.4494 0.0167 0.4333 0.4667 0.4500 0.0236
419-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
420-AH 0.2667 0.2667 0.2833 0.3000 0.3000 0.2833 0.0236 0.0333 0.0333 0.0832 0.2828 0.2824 0.0167 0.2667 0.3000 0.2833 0.0236
421-AH 0.3000 0.3000 0.3000 0.3000 0.3000 0.3000 0.0000 0.0000 0.0000 0.0000 0.3000 0.3000 0.0000 0.3000 0.3000 0.3000 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
424-AH 0.2333 0.2333 0.2333 0.2333 0.2333 0.2333 0.0000 0.0000 0.0000 0.0000 0.2333 0.2333 0.0000 0.2333 0.2333 0.2333 0.0000
425-AH 0.0333 0.0333 0.0667 0.1000 0.1000 0.0667 0.0471 0.0667 0.0667 0.7071 0.0577 0.0500 0.0333 0.0333 0.1000 0.0667 0.0471
426-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
427-AH 0.2000 0.2000 0.2000 0.2000 0.2000 0.2000 0.0000 0.0000 0.0000 0.0000 0.2000 0.2000 0.0000 0.2000 0.2000 0.2000 0.0000
428-AH 0.0333 0.0333 0.0500 0.0667 0.0667 0.0500 0.0236 0.0333 0.0333 0.4714 0.0471 0.0444 0.0167 0.0333 0.0667 0.0500 0.0236
429-AH 0.0667 0.0667 0.0833 0.1000 0.1000 0.0833 0.0236 0.0333 0.0333 0.2828 0.0816 0.0800 0.0167 0.0667 0.1000 0.0833 0.0236
430-AH 0.0333 0.0333 0.0333 0.0333 0.0333 0.0333 0.0000 0.0000 0.0000 0.0000 0.0333 0.0333 0.0000 0.0333 0.0333 0.0333 0.0000
431-AH 0.6000 0.6000 0.6333 0.6667 0.6667 0.6333 0.0471 0.0667 0.0667 0.0744 0.6325 0.6316 0.0333 0.6000 0.6667 0.6333 0.0471
432-AH 0.3333 0.3333 0.3333 0.3333 0.3333 0.3333 0.0000 0.0000 0.0000 0.0000 0.3333 0.3333 0.0000 0.3333 0.3333 0.3333 0.0000
433-AH 0.5667 0.5667 0.6000 0.6333 0.6333 0.6000 0.0471 0.0667 0.0667 0.0786 0.5991 0.5981 0.0333 0.5667 0.6333 0.6000 0.0471
434-AH 0.7667 0.7667 0.7833 0.8000 0.8000 0.7833 0.0236 0.0333 0.0333 0.0301 0.7832 0.7830 0.0167 0.7667 0.8000 0.7833 0.0236
435-AH 0.2333 0.2333 0.2500 0.2667 0.2667 0.2500 0.0236 0.0333 0.0333 0.0943 0.2494 0.2489 0.0167 0.2333 0.2667 0.2500 0.0236
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.5667 0.5667 0.5667 0.5667 0.5667 0.5667 0.0000 0.0000 0.0000 0.0000 0.5667 0.5667 0.0000 0.5667 0.5667 0.5667 0.0000
438-AH 0.1000 0.1000 0.1167 0.1333 0.1333 0.1167 0.0236 0.0333 0.0333 0.2020 0.1155 0.1143 0.0167 0.1000 0.1333 0.1167 0.0236
439-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
440-AH 0.1333 0.1333 0.1667 0.2000 0.2000 0.1667 0.0471 0.0667 0.0667 0.2828 0.1633 0.1600 0.0333 0.1333 0.2000 0.1667 0.0471
441-AH 0.4667 0.4667 0.4833 0.5000 0.5000 0.4833 0.0236 0.0333 0.0333 0.0488 0.4830 0.4828 0.0167 0.4667 0.5000 0.4833 0.0236
442-AH 0.2667 0.2667 0.2667 0.2667 0.2667 0.2667 0.0000 0.0000 0.0000 0.0000 0.2667 0.2667 0.0000 0.2667 0.2667 0.2667 0.0000
443-AH 0.0000 0.0000 0.0167 0.0333 0.0333 0.0167 0.0236 0.0333 0.0333 1.4142 0.0006 0.0000 0.0167 0.0000 0.0333 0.0167 0.0236
444-AH 0.2667 0.2667 0.2667 0.2667 0.2667 0.2667 0.0000 0.0000 0.0000 0.0000 0.2667 0.2667 0.0000 0.2667 0.2667 0.2667 0.0000
445-AH 0.0667 0.0667 0.0667 0.0667 0.0667 0.0667 0.0000 0.0000 0.0000 0.0000 0.0667 0.0667 0.0000 0.0667 0.0667 0.0667 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.7667 0.7667 0.7667 0.7667 0.7667 0.7667 0.0000 0.0000 0.0000 0.0000 0.7667 0.7667 0.0000 0.7667 0.7667 0.7667 0.0000
448-AH 0.1333 0.1333 0.1333 0.1333 0.1333 0.1333 0.0000 0.0000 0.0000 0.0000 0.1333 0.1333 0.0000 0.1333 0.1333 0.1333 0.0000
449-AH 0.4333 0.4333 0.5333 0.6333 0.6333 0.5333 0.1414 0.2000 0.2000 0.2652 0.5239 0.5146 0.1000 0.4333 0.6333 0.5333 0.1414
450-AH 0.2333 0.2333 0.2333 0.2333 0.2333 0.2333 0.0000 0.0000 0.0000 0.0000 0.2333 0.2333 0.0000 0.2333 0.2333 0.2333 0.0000
267
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@100
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0100 0.0100 0.0300 0.0500 0.0500 0.0300 0.0283 0.0400 0.0400 0.9428 0.0224 0.0167 0.0200 0.0100 0.0500 0.0300 0.0283
402-AH 0.1800 0.1800 0.1800 0.1800 0.1800 0.1800 0.0000 0.0000 0.0000 0.0000 0.1800 0.1800 0.0000 0.1800 0.1800 0.1800 0.0000
403-AH 0.0100 0.0100 0.0300 0.0500 0.0500 0.0300 0.0283 0.0400 0.0400 0.9428 0.0224 0.0167 0.0200 0.0100 0.0500 0.0300 0.0283
404-AH 0.0800 0.0800 0.0800 0.0800 0.0800 0.0800 0.0000 0.0000 0.0000 0.0000 0.0800 0.0800 0.0000 0.0800 0.0800 0.0800 0.0000
405-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0600 0.0600 0.0700 0.0800 0.0800 0.0700 0.0141 0.0200 0.0200 0.2020 0.0693 0.0686 0.0100 0.0600 0.0800 0.0700 0.0141
408-AH 0.0900 0.0900 0.1250 0.1600 0.1600 0.1250 0.0495 0.0700 0.0700 0.3960 0.1200 0.1152 0.0350 0.0900 0.1600 0.1250 0.0495
409-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
410-AH 0.2000 0.2000 0.2100 0.2200 0.2200 0.2100 0.0141 0.0200 0.0200 0.0673 0.2098 0.2095 0.0100 0.2000 0.2200 0.2100 0.0141
411-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
412-AH 0.0300 0.0300 0.0550 0.0800 0.0800 0.0550 0.0354 0.0500 0.0500 0.6428 0.0490 0.0436 0.0250 0.0300 0.0800 0.0550 0.0354
413-AH 0.1800 0.1800 0.1800 0.1800 0.1800 0.1800 0.0000 0.0000 0.0000 0.0000 0.1800 0.1800 0.0000 0.1800 0.1800 0.1800 0.0000
414-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
415-AH 0.2600 0.2600 0.2700 0.2800 0.2800 0.2700 0.0141 0.0200 0.0200 0.0524 0.2698 0.2696 0.0100 0.2600 0.2800 0.2700 0.0141
416-AH 0.1000 0.1000 0.1000 0.1000 0.1000 0.1000 0.0000 0.0000 0.0000 0.0000 0.1000 0.1000 0.0000 0.1000 0.1000 0.1000 0.0000
417-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
418-AH 0.1900 0.1900 0.1900 0.1900 0.1900 0.1900 0.0000 0.0000 0.0000 0.0000 0.1900 0.1900 0.0000 0.1900 0.1900 0.1900 0.0000
419-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
420-AH 0.1500 0.1500 0.1550 0.1600 0.1600 0.1550 0.0071 0.0100 0.0100 0.0456 0.1549 0.1548 0.0050 0.1500 0.1600 0.1550 0.0071
421-AH 0.0900 0.0900 0.0900 0.0900 0.0900 0.0900 0.0000 0.0000 0.0000 0.0000 0.0900 0.0900 0.0000 0.0900 0.0900 0.0900 0.0000
422-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
423-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
424-AH 0.0900 0.0900 0.1050 0.1200 0.1200 0.1050 0.0212 0.0300 0.0300 0.2020 0.1039 0.1029 0.0150 0.0900 0.1200 0.1050 0.0212
425-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
426-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
427-AH 0.1400 0.1400 0.1400 0.1400 0.1400 0.1400 0.0000 0.0000 0.0000 0.0000 0.1400 0.1400 0.0000 0.1400 0.1400 0.1400 0.0000
428-AH 0.0600 0.0600 0.0600 0.0600 0.0600 0.0600 0.0000 0.0000 0.0000 0.0000 0.0600 0.0600 0.0000 0.0600 0.0600 0.0600 0.0000
429-AH 0.0500 0.0500 0.0500 0.0500 0.0500 0.0500 0.0000 0.0000 0.0000 0.0000 0.0500 0.0500 0.0000 0.0500 0.0500 0.0500 0.0000
430-AH 0.0100 0.0100 0.0200 0.0300 0.0300 0.0200 0.0141 0.0200 0.0200 0.7071 0.0173 0.0150 0.0100 0.0100 0.0300 0.0200 0.0141
431-AH 0.2800 0.2800 0.2800 0.2800 0.2800 0.2800 0.0000 0.0000 0.0000 0.0000 0.2800 0.2800 0.0000 0.2800 0.2800 0.2800 0.0000
432-AH 0.1200 0.1200 0.1200 0.1200 0.1200 0.1200 0.0000 0.0000 0.0000 0.0000 0.1200 0.1200 0.0000 0.1200 0.1200 0.1200 0.0000
433-AH 0.3000 0.3000 0.3350 0.3700 0.3700 0.3350 0.0495 0.0700 0.0700 0.1478 0.3332 0.3313 0.0350 0.3000 0.3700 0.3350 0.0495
434-AH 0.2400 0.2400 0.2400 0.2400 0.2400 0.2400 0.0000 0.0000 0.0000 0.0000 0.2400 0.2400 0.0000 0.2400 0.2400 0.2400 0.0000
435-AH 0.1800 0.1800 0.1850 0.1900 0.1900 0.1850 0.0071 0.0100 0.0100 0.0382 0.1849 0.1849 0.0050 0.1800 0.1900 0.1850 0.0071
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.2400 0.2400 0.2400 0.2400 0.2400 0.2400 0.0000 0.0000 0.0000 0.0000 0.2400 0.2400 0.0000 0.2400 0.2400 0.2400 0.0000
438-AH 0.0300 0.0300 0.0350 0.0400 0.0400 0.0350 0.0071 0.0100 0.0100 0.2020 0.0346 0.0343 0.0050 0.0300 0.0400 0.0350 0.0071
439-AH 0.0000 0.0000 0.0200 0.0400 0.0400 0.0200 0.0283 0.0400 0.0400 1.4142 0.0006 0.0000 0.0200 0.0000 0.0400 0.0200 0.0283
440-AH 0.0800 0.0800 0.0950 0.1100 0.1100 0.0950 0.0212 0.0300 0.0300 0.2233 0.0938 0.0926 0.0150 0.0800 0.1100 0.0950 0.0212
441-AH 0.1500 0.1500 0.1500 0.1500 0.1500 0.1500 0.0000 0.0000 0.0000 0.0000 0.1500 0.1500 0.0000 0.1500 0.1500 0.1500 0.0000
442-AH 0.0900 0.0900 0.0900 0.0900 0.0900 0.0900 0.0000 0.0000 0.0000 0.0000 0.0900 0.0900 0.0000 0.0900 0.0900 0.0900 0.0000
443-AH 0.0000 0.0000 0.0250 0.0500 0.0500 0.0250 0.0354 0.0500 0.0500 1.4142 0.0007 0.0000 0.0250 0.0000 0.0500 0.0250 0.0354
444-AH 0.1200 0.1200 0.1250 0.1300 0.1300 0.1250 0.0071 0.0100 0.0100 0.0566 0.1249 0.1248 0.0050 0.1200 0.1300 0.1250 0.0071
445-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.2300 0.2300 0.2300 0.2300 0.2300 0.2300 0.0000 0.0000 0.0000 0.0000 0.2300 0.2300 0.0000 0.2300 0.2300 0.2300 0.0000
448-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
449-AH 0.2000 0.2000 0.2250 0.2500 0.2500 0.2250 0.0354 0.0500 0.0500 0.1571 0.2236 0.2222 0.0250 0.2000 0.2500 0.2250 0.0354
450-AH 0.1200 0.1200 0.1300 0.1400 0.1400 0.1300 0.0141 0.0200 0.0200 0.1088 0.1296 0.1292 0.0100 0.1200 0.1400 0.1300 0.0141
268
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@200
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0200 0.0200 0.0275 0.0350 0.0350 0.0275 0.0106 0.0150 0.0150 0.3857 0.0265 0.0255 0.0075 0.0200 0.0350 0.0275 0.0106
402-AH 0.0900 0.0900 0.0950 0.1000 0.1000 0.0950 0.0071 0.0100 0.0100 0.0744 0.0949 0.0947 0.0050 0.0900 0.1000 0.0950 0.0071
403-AH 0.0100 0.0100 0.0200 0.0300 0.0300 0.0200 0.0141 0.0200 0.0200 0.7071 0.0173 0.0150 0.0100 0.0100 0.0300 0.0200 0.0141
404-AH 0.0400 0.0400 0.0425 0.0450 0.0450 0.0425 0.0035 0.0050 0.0050 0.0832 0.0424 0.0424 0.0025 0.0400 0.0450 0.0425 0.0035
405-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0350 0.0350 0.0375 0.0400 0.0400 0.0375 0.0035 0.0050 0.0050 0.0943 0.0374 0.0373 0.0025 0.0350 0.0400 0.0375 0.0035
408-AH 0.0700 0.0700 0.0825 0.0950 0.0950 0.0825 0.0177 0.0250 0.0250 0.2143 0.0815 0.0806 0.0125 0.0700 0.0950 0.0825 0.0177
409-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
410-AH 0.1100 0.1100 0.1100 0.1100 0.1100 0.1100 0.0000 0.0000 0.0000 0.0000 0.1100 0.1100 0.0000 0.1100 0.1100 0.1100 0.0000
411-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
412-AH 0.0300 0.0300 0.0450 0.0600 0.0600 0.0450 0.0212 0.0300 0.0300 0.4714 0.0424 0.0400 0.0150 0.0300 0.0600 0.0450 0.0212
413-AH 0.1000 0.1000 0.1075 0.1150 0.1150 0.1075 0.0106 0.0150 0.0150 0.0987 0.1072 0.1070 0.0075 0.1000 0.1150 0.1075 0.0106
414-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
415-AH 0.2000 0.2000 0.2075 0.2150 0.2150 0.2075 0.0106 0.0150 0.0150 0.0511 0.2074 0.2072 0.0075 0.2000 0.2150 0.2075 0.0106
416-AH 0.0550 0.0550 0.0550 0.0550 0.0550 0.0550 0.0000 0.0000 0.0000 0.0000 0.0550 0.0550 0.0000 0.0550 0.0550 0.0550 0.0000
417-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
418-AH 0.0950 0.0950 0.0950 0.0950 0.0950 0.0950 0.0000 0.0000 0.0000 0.0000 0.0950 0.0950 0.0000 0.0950 0.0950 0.0950 0.0000
419-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
420-AH 0.0900 0.0900 0.0925 0.0950 0.0950 0.0925 0.0035 0.0050 0.0050 0.0382 0.0925 0.0924 0.0025 0.0900 0.0950 0.0925 0.0035
421-AH 0.0450 0.0450 0.0450 0.0450 0.0450 0.0450 0.0000 0.0000 0.0000 0.0000 0.0450 0.0450 0.0000 0.0450 0.0450 0.0450 0.0000
422-AH 0.0000 0.0000 0.0025 0.0050 0.0050 0.0025 0.0035 0.0050 0.0050 1.4142 0.0002 0.0000 0.0025 0.0000 0.0050 0.0025 0.0035
423-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
424-AH 0.0600 0.0600 0.0625 0.0650 0.0650 0.0625 0.0035 0.0050 0.0050 0.0566 0.0624 0.0624 0.0025 0.0600 0.0650 0.0625 0.0035
425-AH 0.0150 0.0150 0.0200 0.0250 0.0250 0.0200 0.0071 0.0100 0.0100 0.3536 0.0194 0.0187 0.0050 0.0150 0.0250 0.0200 0.0071
426-AH 0.0250 0.0250 0.0250 0.0250 0.0250 0.0250 0.0000 0.0000 0.0000 0.0000 0.0250 0.0250 0.0000 0.0250 0.0250 0.0250 0.0000
427-AH 0.0700 0.0700 0.0700 0.0700 0.0700 0.0700 0.0000 0.0000 0.0000 0.0000 0.0700 0.0700 0.0000 0.0700 0.0700 0.0700 0.0000
428-AH 0.0300 0.0300 0.0350 0.0400 0.0400 0.0350 0.0071 0.0100 0.0100 0.2020 0.0346 0.0343 0.0050 0.0300 0.0400 0.0350 0.0071
429-AH 0.0350 0.0350 0.0350 0.0350 0.0350 0.0350 0.0000 0.0000 0.0000 0.0000 0.0350 0.0350 0.0000 0.0350 0.0350 0.0350 0.0000
430-AH 0.0050 0.0050 0.0200 0.0350 0.0350 0.0200 0.0212 0.0300 0.0300 1.0607 0.0132 0.0087 0.0150 0.0050 0.0350 0.0200 0.0212
431-AH 0.1450 0.1450 0.1475 0.1500 0.1500 0.1475 0.0035 0.0050 0.0050 0.0240 0.1475 0.1475 0.0025 0.1450 0.1500 0.1475 0.0035
432-AH 0.0600 0.0600 0.0600 0.0600 0.0600 0.0600 0.0000 0.0000 0.0000 0.0000 0.0600 0.0600 0.0000 0.0600 0.0600 0.0600 0.0000
433-AH 0.1950 0.1950 0.1950 0.1950 0.1950 0.1950 0.0000 0.0000 0.0000 0.0000 0.1950 0.1950 0.0000 0.1950 0.1950 0.1950 0.0000
434-AH 0.1200 0.1200 0.1200 0.1200 0.1200 0.1200 0.0000 0.0000 0.0000 0.0000 0.1200 0.1200 0.0000 0.1200 0.1200 0.1200 0.0000
435-AH 0.1150 0.1150 0.1250 0.1350 0.1350 0.1250 0.0141 0.0200 0.0200 0.1131 0.1246 0.1242 0.0100 0.1150 0.1350 0.1250 0.0141
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.1200 0.1200 0.1225 0.1250 0.1250 0.1225 0.0035 0.0050 0.0050 0.0289 0.1225 0.1224 0.0025 0.1200 0.1250 0.1225 0.0035
438-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
439-AH 0.0050 0.0050 0.0175 0.0300 0.0300 0.0175 0.0177 0.0250 0.0250 1.0102 0.0122 0.0086 0.0125 0.0050 0.0300 0.0175 0.0177
440-AH 0.0600 0.0600 0.0625 0.0650 0.0650 0.0625 0.0035 0.0050 0.0050 0.0566 0.0624 0.0624 0.0025 0.0600 0.0650 0.0625 0.0035
441-AH 0.0750 0.0750 0.0750 0.0750 0.0750 0.0750 0.0000 0.0000 0.0000 0.0000 0.0750 0.0750 0.0000 0.0750 0.0750 0.0750 0.0000
442-AH 0.0450 0.0450 0.0450 0.0450 0.0450 0.0450 0.0000 0.0000 0.0000 0.0000 0.0450 0.0450 0.0000 0.0450 0.0450 0.0450 0.0000
443-AH 0.0000 0.0000 0.0200 0.0400 0.0400 0.0200 0.0283 0.0400 0.0400 1.4142 0.0006 0.0000 0.0200 0.0000 0.0400 0.0200 0.0283
444-AH 0.0700 0.0700 0.0750 0.0800 0.0800 0.0750 0.0071 0.0100 0.0100 0.0943 0.0748 0.0747 0.0050 0.0700 0.0800 0.0750 0.0071
445-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.1150 0.1150 0.1150 0.1150 0.1150 0.1150 0.0000 0.0000 0.0000 0.0000 0.1150 0.1150 0.0000 0.1150 0.1150 0.1150 0.0000
448-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
449-AH 0.1150 0.1150 0.1250 0.1350 0.1350 0.1250 0.0141 0.0200 0.0200 0.1131 0.1246 0.1242 0.0100 0.1150 0.1350 0.1250 0.0141
450-AH 0.0750 0.0750 0.0750 0.0750 0.0750 0.0750 0.0000 0.0000 0.0000 0.0000 0.0750 0.0750 0.0000 0.0750 0.0750 0.0750 0.0000
269
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@500
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0180 0.0180 0.0220 0.0260 0.0260 0.0220 0.0057 0.0080 0.0080 0.2571 0.0216 0.0213 0.0040 0.0180 0.0260 0.0220 0.0057
402-AH 0.0400 0.0400 0.0400 0.0400 0.0400 0.0400 0.0000 0.0000 0.0000 0.0000 0.0400 0.0400 0.0000 0.0400 0.0400 0.0400 0.0000
403-AH 0.0060 0.0060 0.0110 0.0160 0.0160 0.0110 0.0071 0.0100 0.0100 0.6428 0.0098 0.0087 0.0050 0.0060 0.0160 0.0110 0.0071
404-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000
405-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
406-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
407-AH 0.0140 0.0140 0.0150 0.0160 0.0160 0.0150 0.0014 0.0020 0.0020 0.0943 0.0150 0.0149 0.0010 0.0140 0.0160 0.0150 0.0014
408-AH 0.0360 0.0360 0.0410 0.0460 0.0460 0.0410 0.0071 0.0100 0.0100 0.1725 0.0407 0.0404 0.0050 0.0360 0.0460 0.0410 0.0071
409-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
410-AH 0.0440 0.0440 0.0440 0.0440 0.0440 0.0440 0.0000 0.0000 0.0000 0.0000 0.0440 0.0440 0.0000 0.0440 0.0440 0.0440 0.0000
411-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
412-AH 0.0160 0.0160 0.0250 0.0340 0.0340 0.0250 0.0127 0.0180 0.0180 0.5091 0.0233 0.0218 0.0090 0.0160 0.0340 0.0250 0.0127
413-AH 0.0480 0.0480 0.0480 0.0480 0.0480 0.0480 0.0000 0.0000 0.0000 0.0000 0.0480 0.0480 0.0000 0.0480 0.0480 0.0480 0.0000
414-AH 0.0040 0.0040 0.0050 0.0060 0.0060 0.0050 0.0014 0.0020 0.0020 0.2828 0.0049 0.0048 0.0010 0.0040 0.0060 0.0050 0.0014
415-AH 0.1200 0.1200 0.1200 0.1200 0.1200 0.1200 0.0000 0.0000 0.0000 0.0000 0.1200 0.1200 0.0000 0.1200 0.1200 0.1200 0.0000
416-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
417-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
418-AH 0.0380 0.0380 0.0380 0.0380 0.0380 0.0380 0.0000 0.0000 0.0000 0.0000 0.0380 0.0380 0.0000 0.0380 0.0380 0.0380 0.0000
419-AH 0.0020 0.0020 0.0030 0.0040 0.0040 0.0030 0.0014 0.0020 0.0020 0.4714 0.0028 0.0027 0.0010 0.0020 0.0040 0.0030 0.0014
420-AH 0.0380 0.0380 0.0400 0.0420 0.0420 0.0400 0.0028 0.0040 0.0040 0.0707 0.0399 0.0399 0.0020 0.0380 0.0420 0.0400 0.0028
421-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000
422-AH 0.0000 0.0000 0.0060 0.0120 0.0120 0.0060 0.0085 0.0120 0.0120 1.4142 0.0003 0.0000 0.0060 0.0000 0.0120 0.0060 0.0085
423-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
424-AH 0.0300 0.0300 0.0320 0.0340 0.0340 0.0320 0.0028 0.0040 0.0040 0.0884 0.0319 0.0319 0.0020 0.0300 0.0340 0.0320 0.0028
425-AH 0.0100 0.0100 0.0100 0.0100 0.0100 0.0100 0.0000 0.0000 0.0000 0.0000 0.0100 0.0100 0.0000 0.0100 0.0100 0.0100 0.0000
426-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
427-AH 0.0280 0.0280 0.0280 0.0280 0.0280 0.0280 0.0000 0.0000 0.0000 0.0000 0.0280 0.0280 0.0000 0.0280 0.0280 0.0280 0.0000
428-AH 0.0200 0.0200 0.0210 0.0220 0.0220 0.0210 0.0014 0.0020 0.0020 0.0673 0.0210 0.0210 0.0010 0.0200 0.0220 0.0210 0.0014
429-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
430-AH 0.0060 0.0060 0.0110 0.0160 0.0160 0.0110 0.0071 0.0100 0.0100 0.6428 0.0098 0.0087 0.0050 0.0060 0.0160 0.0110 0.0071
431-AH 0.0620 0.0620 0.0630 0.0640 0.0640 0.0630 0.0014 0.0020 0.0020 0.0224 0.0630 0.0630 0.0010 0.0620 0.0640 0.0630 0.0014
432-AH 0.0240 0.0240 0.0240 0.0240 0.0240 0.0240 0.0000 0.0000 0.0000 0.0000 0.0240 0.0240 0.0000 0.0240 0.0240 0.0240 0.0000
433-AH 0.0840 0.0840 0.0840 0.0840 0.0840 0.0840 0.0000 0.0000 0.0000 0.0000 0.0840 0.0840 0.0000 0.0840 0.0840 0.0840 0.0000
434-AH 0.0480 0.0480 0.0480 0.0480 0.0480 0.0480 0.0000 0.0000 0.0000 0.0000 0.0480 0.0480 0.0000 0.0480 0.0480 0.0480 0.0000
435-AH 0.0540 0.0540 0.0550 0.0560 0.0560 0.0550 0.0014 0.0020 0.0020 0.0257 0.0550 0.0550 0.0010 0.0540 0.0560 0.0550 0.0014
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0520 0.0520 0.0520 0.0520 0.0520 0.0520 0.0000 0.0000 0.0000 0.0000 0.0520 0.0520 0.0000 0.0520 0.0520 0.0520 0.0000
438-AH 0.0120 0.0120 0.0140 0.0160 0.0160 0.0140 0.0028 0.0040 0.0040 0.2020 0.0139 0.0137 0.0020 0.0120 0.0160 0.0140 0.0028
439-AH 0.0080 0.0080 0.0110 0.0140 0.0140 0.0110 0.0042 0.0060 0.0060 0.3857 0.0106 0.0102 0.0030 0.0080 0.0140 0.0110 0.0042
440-AH 0.0260 0.0260 0.0260 0.0260 0.0260 0.0260 0.0000 0.0000 0.0000 0.0000 0.0260 0.0260 0.0000 0.0260 0.0260 0.0260 0.0000
441-AH 0.0300 0.0300 0.0300 0.0300 0.0300 0.0300 0.0000 0.0000 0.0000 0.0000 0.0300 0.0300 0.0000 0.0300 0.0300 0.0300 0.0000
442-AH 0.0180 0.0180 0.0180 0.0180 0.0180 0.0180 0.0000 0.0000 0.0000 0.0000 0.0180 0.0180 0.0000 0.0180 0.0180 0.0180 0.0000
443-AH 0.0100 0.0100 0.0230 0.0360 0.0360 0.0230 0.0184 0.0260 0.0260 0.7993 0.0190 0.0157 0.0130 0.0100 0.0360 0.0230 0.0184
444-AH 0.0320 0.0320 0.0320 0.0320 0.0320 0.0320 0.0000 0.0000 0.0000 0.0000 0.0320 0.0320 0.0000 0.0320 0.0320 0.0320 0.0000
445-AH 0.0060 0.0060 0.0060 0.0060 0.0060 0.0060 0.0000 0.0000 0.0000 0.0000 0.0060 0.0060 0.0000 0.0060 0.0060 0.0060 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0460 0.0460 0.0460 0.0460 0.0460 0.0460 0.0000 0.0000 0.0000 0.0000 0.0460 0.0460 0.0000 0.0460 0.0460 0.0460 0.0000
448-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
449-AH 0.0540 0.0540 0.0540 0.0540 0.0540 0.0540 0.0000 0.0000 0.0000 0.0000 0.0540 0.0540 0.0000 0.0540 0.0540 0.0540 0.0000
450-AH 0.0400 0.0400 0.0440 0.0480 0.0480 0.0440 0.0057 0.0080 0.0080 0.1286 0.0438 0.0436 0.0040 0.0400 0.0480 0.0440 0.0057
270
AH-BILI-CLEF2007 Track Overview Results and Graphs AH-BILI-X2HU-CLEF2007
Statistics for P@1000
Topic Min 1st Q 2nd Q 3rd Q Max Mean Std IQR Range C.Var Geom. Harm. MAD LOT UOT MNO SNO
401-AH 0.0130 0.0130 0.0135 0.0140 0.0140 0.0135 0.0007 0.0010 0.0010 0.0524 0.0135 0.0135 0.0005 0.0130 0.0140 0.0135 0.0007
402-AH 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0000 0.0000 0.0000 0.0000 0.0200 0.0200 0.0000 0.0200 0.0200 0.0200 0.0000
403-AH 0.0050 0.0050 0.0075 0.0100 0.0100 0.0075 0.0035 0.0050 0.0050 0.4714 0.0071 0.0067 0.0025 0.0050 0.0100 0.0075 0.0035
404-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
405-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
406-AH 0.0000 0.0000 0.0005 0.0010 0.0010 0.0005 0.0007 0.0010 0.0010 1.4142 0.0001 0.0000 0.0005 0.0000 0.0010 0.0005 0.0007
407-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
408-AH 0.0200 0.0200 0.0240 0.0280 0.0280 0.0240 0.0057 0.0080 0.0080 0.2357 0.0237 0.0233 0.0040 0.0200 0.0280 0.0240 0.0057
409-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
410-AH 0.0220 0.0220 0.0220 0.0220 0.0220 0.0220 0.0000 0.0000 0.0000 0.0000 0.0220 0.0220 0.0000 0.0220 0.0220 0.0220 0.0000
411-AH 0.0010 0.0010 0.0010 0.0010 0.0010 0.0010 0.0000 0.0000 0.0000 0.0000 0.0010 0.0010 0.0000 0.0010 0.0010 0.0010 0.0000
412-AH 0.0110 0.0110 0.0160 0.0210 0.0210 0.0160 0.0071 0.0100 0.0100 0.4419 0.0152 0.0144 0.0050 0.0110 0.0210 0.0160 0.0071
413-AH 0.0240 0.0240 0.0240 0.0240 0.0240 0.0240 0.0000 0.0000 0.0000 0.0000 0.0240 0.0240 0.0000 0.0240 0.0240 0.0240 0.0000
414-AH 0.0030 0.0030 0.0030 0.0030 0.0030 0.0030 0.0000 0.0000 0.0000 0.0000 0.0030 0.0030 0.0000 0.0030 0.0030 0.0030 0.0000
415-AH 0.0610 0.0610 0.0610 0.0610 0.0610 0.0610 0.0000 0.0000 0.0000 0.0000 0.0610 0.0610 0.0000 0.0610 0.0610 0.0610 0.0000
416-AH 0.0110 0.0110 0.0110 0.0110 0.0110 0.0110 0.0000 0.0000 0.0000 0.0000 0.0110 0.0110 0.0000 0.0110 0.0110 0.0110 0.0000
417-AH 0.0110 0.0110 0.0110 0.0110 0.0110 0.0110 0.0000 0.0000 0.0000 0.0000 0.0110 0.0110 0.0000 0.0110 0.0110 0.0110 0.0000
418-AH 0.0190 0.0190 0.0190 0.0190 0.0190 0.0190 0.0000 0.0000 0.0000 0.0000 0.0190 0.0190 0.0000 0.0190 0.0190 0.0190 0.0000
419-AH 0.0020 0.0020 0.0020 0.0020 0.0020 0.0020 0.0000 0.0000 0.0000 0.0000 0.0020 0.0020 0.0000 0.0020 0.0020 0.0020 0.0000
420-AH 0.0210 0.0210 0.0210 0.0210 0.0210 0.0210 0.0000 0.0000 0.0000 0.0000 0.0210 0.0210 0.0000 0.0210 0.0210 0.0210 0.0000
421-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
422-AH 0.0000 0.0000 0.0050 0.0100 0.0100 0.0050 0.0071 0.0100 0.0100 1.4142 0.0003 0.0000 0.0050 0.0000 0.0100 0.0050 0.0071
423-AH 0.0050 0.0050 0.0050 0.0050 0.0050 0.0050 0.0000 0.0000 0.0000 0.0000 0.0050 0.0050 0.0000 0.0050 0.0050 0.0050 0.0000
424-AH 0.0170 0.0170 0.0170 0.0170 0.0170 0.0170 0.0000 0.0000 0.0000 0.0000 0.0170 0.0170 0.0000 0.0170 0.0170 0.0170 0.0000
425-AH 0.0060 0.0060 0.0065 0.0070 0.0070 0.0065 0.0007 0.0010 0.0010 0.1088 0.0065 0.0065 0.0005 0.0060 0.0070 0.0065 0.0007
426-AH 0.0080 0.0080 0.0080 0.0080 0.0080 0.0080 0.0000 0.0000 0.0000 0.0000 0.0080 0.0080 0.0000 0.0080 0.0080 0.0080 0.0000
427-AH 0.0140 0.0140 0.0140 0.0140 0.0140 0.0140 0.0000 0.0000 0.0000 0.0000 0.0140 0.0140 0.0000 0.0140 0.0140 0.0140 0.0000
428-AH 0.0120 0.0120 0.0125 0.0130 0.0130 0.0125 0.0007 0.0010 0.0010 0.0566 0.0125 0.0125 0.0005 0.0120 0.0130 0.0125 0.0007
429-AH 0.0080 0.0080 0.0095 0.0110 0.0110 0.0095 0.0021 0.0030 0.0030 0.2233 0.0094 0.0093 0.0015 0.0080 0.0110 0.0095 0.0021
430-AH 0.0040 0.0040 0.0060 0.0080 0.0080 0.0060 0.0028 0.0040 0.0040 0.4714 0.0057 0.0053 0.0020 0.0040 0.0080 0.0060 0.0028
431-AH 0.0320 0.0320 0.0325 0.0330 0.0330 0.0325 0.0007 0.0010 0.0010 0.0218 0.0325 0.0325 0.0005 0.0320 0.0330 0.0325 0.0007
432-AH 0.0120 0.0120 0.0120 0.0120 0.0120 0.0120 0.0000 0.0000 0.0000 0.0000 0.0120 0.0120 0.0000 0.0120 0.0120 0.0120 0.0000
433-AH 0.0420 0.0420 0.0425 0.0430 0.0430 0.0425 0.0007 0.0010 0.0010 0.0166 0.0425 0.0425 0.0005 0.0420 0.0430 0.0425 0.0007
434-AH 0.0240 0.0240 0.0240 0.0240 0.0240 0.0240 0.0000 0.0000 0.0000 0.0000 0.0240 0.0240 0.0000 0.0240 0.0240 0.0240 0.0000
435-AH 0.0290 0.0290 0.0295 0.0300 0.0300 0.0295 0.0007 0.0010 0.0010 0.0240 0.0295 0.0295 0.0005 0.0290 0.0300 0.0295 0.0007
436-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
437-AH 0.0260 0.0260 0.0260 0.0260 0.0260 0.0260 0.0000 0.0000 0.0000 0.0000 0.0260 0.0260 0.0000 0.0260 0.0260 0.0260 0.0000
438-AH 0.0110 0.0110 0.0135 0.0160 0.0160 0.0135 0.0035 0.0050 0.0050 0.2619 0.0133 0.0130 0.0025 0.0110 0.0160 0.0135 0.0035
439-AH 0.0070 0.0070 0.0070 0.0070 0.0070 0.0070 0.0000 0.0000 0.0000 0.0000 0.0070 0.0070 0.0000 0.0070 0.0070 0.0070 0.0000
440-AH 0.0130 0.0130 0.0130 0.0130 0.0130 0.0130 0.0000 0.0000 0.0000 0.0000 0.0130 0.0130 0.0000 0.0130 0.0130 0.0130 0.0000
441-AH 0.0150 0.0150 0.0150 0.0150 0.0150 0.0150 0.0000 0.0000 0.0000 0.0000 0.0150 0.0150 0.0000 0.0150 0.0150 0.0150 0.0000
442-AH 0.0090 0.0090 0.0090 0.0090 0.0090 0.0090 0.0000 0.0000 0.0000 0.0000 0.0090 0.0090 0.0000 0.0090 0.0090 0.0090 0.0000
443-AH 0.0170 0.0170 0.0210 0.0250 0.0250 0.0210 0.0057 0.0080 0.0080 0.2694 0.0206 0.0202 0.0040 0.0170 0.0250 0.0210 0.0057
444-AH 0.0160 0.0160 0.0160 0.0160 0.0160 0.0160 0.0000 0.0000 0.0000 0.0000 0.0160 0.0160 0.0000 0.0160 0.0160 0.0160 0.0000
445-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
446-AH 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 N/D 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000
447-AH 0.0230 0.0230 0.0230 0.0230 0.0230 0.0230 0.0000 0.0000 0.0000 0.0000 0.0230 0.0230 0.0000 0.0230 0.0230 0.0230 0.0000
448-AH 0.0040 0.0040 0.0040 0.0040 0.0040 0.0040 0.0000 0.0000 0.0000 0.0000 0.0040 0.0040 0.0000 0.0040 0.0040 0.0040 0.0000
449-AH 0.0270 0.0270 0.0270 0.0270 0.0270 0.0270 0.0000 0.0000 0.0000 0.0000 0.0270 0.0270 0.0000 0.0270 0.0270 0.0270 0.0000
450-AH 0.0210 0.0210 0.0235 0.0260 0.0260 0.0235 0.0035 0.0050 0.0050 0.1504 0.0234 0.0232 0.0025 0.0210 0.0260 0.0235 0.0035
271
Individual Experiment Results and Graphs
272
273
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUEXP2 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 790 Pooled false
Geometric Mean Average Precision 0.0909 DFR with BFR
Binary Preference (BPREF) 0.2404
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 52.75 IRNBUEXP2
10 43.26 90%
20 38.40
80%
30 35.39
40 29.28 70%
50 26.06
60%
60 23.07
Precision
70 19.40 50%
80 16.35 40%
90 11.96
30%
100 8.08
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.05 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9000
Minimum 0.0000
First Quartile 0.0261
Second Quartile 0.1697
Third Quartile 0.4562
Interquartile range 0.4302 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2605
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2597 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9000 10
Mean With No Outliers 0.2605
Std With No Outliers 0.2597 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUEXP2
0.8
401-AH 23.25 426-AH 10.60 0.6
402-AH 14.33 427-AH 31.61 0.4
403-AH 0.83 428-AH 2.61 0.2
Difference
404-AH 5.42 429-AH 1.85 0
405-AH 73.03 430-AH 18.70 −0.2
−0.4
406-AH 1.10 431-AH 14.23
−0.6
407-AH 17.51 432-AH 44.93
−0.8
408-AH 86.02 433-AH 10.88
−1
409-AH 81.14 434-AH 90.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 53.27 435-AH 3.71
411-AH 11.24 436-AH 0.41
412-AH 0.13 437-AH 22.88 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNBUEXP2
413-AH 41.83 438-AH 57.02 0.8
414-AH 0.47 439-AH 2.50 0.6
415-AH 2.29 440-AH 15.03 0.4
416-AH 33.31 441-AH 5.18 0.2
Difference
417-AH 45.62 442-AH 54.21 0
418-AH 48.58 443-AH 16.43 −0.2
−0.4
419-AH 7.05 444-AH 39.95
−0.6
420-AH 53.65 445-AH 68.06
−0.8
421-AH 54.33 446-AH 0.00
−1
422-AH 0.35 447-AH 53.76 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 33.14 448-AH 26.19
424-AH 3.42 449-AH 18.65
425-AH 1.17 450-AH 0.51
274
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUEXP2 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 33.60 IRNBUEXP2
10 docs 29.00 90%
15 docs 26.40
80%
20 docs 25.00
30 docs 21.60 70%
100 docs 10.86
60%
200 docs 6.33
Precision
500 docs 2.93 50%
1000 docs 1.58 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.23
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8108
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2433
Third Quartile 0.4839
Interquartile range 0.4839 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2723
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2429 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8108 10
Mean With No Outliers 0.2723
Std With No Outliers 0.2429 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUEXP2
0.8
401-AH 30.00 426-AH 16.67 0.6
402-AH 22.58 427-AH 35.71 0.4
403-AH 3.45 428-AH 0.00 0.2
Difference
404-AH 11.11 429-AH 9.52 0
405-AH 66.67 430-AH 34.48 −0.2
−0.4
406-AH 0.00 431-AH 18.52
−0.6
407-AH 33.33 432-AH 42.86
−0.8
408-AH 77.50 433-AH 0.00
−1
409-AH 66.67 434-AH 81.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.00 435-AH 0.00
411-AH 20.00 436-AH 0.00
412-AH 0.00 437-AH 35.29 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNBUEXP2
413-AH 45.45 438-AH 53.23 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 6.38 440-AH 13.64 0.4
416-AH 37.04 441-AH 9.09 0.2
Difference
417-AH 50.00 442-AH 50.00 0
418-AH 49.18 443-AH 26.09 −0.2
−0.4
419-AH 0.00 444-AH 45.45
−0.6
420-AH 48.39 445-AH 61.54
−0.8
421-AH 62.50 446-AH 0.00
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 37.50 448-AH 33.33
424-AH 0.00 449-AH 17.39
425-AH 0.00 450-AH 4.55
275
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUEXP2N AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description, narrative
Relevant retrieved 809 Pooled true
Geometric Mean Average Precision 0.1219 DFR with BFR
Binary Preference (BPREF) 0.2697
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 61.46 IRNBUEXP2N
10 53.87 90%
20 47.10
80%
30 40.70
40 32.77 70%
50 27.50
60%
60 23.44
Precision
70 19.77 50%
80 16.97 40%
90 12.37
30%
100 8.50
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.81 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8783
Minimum 0.0003
First Quartile 0.0749
Second Quartile 0.2309
Third Quartile 0.4785
Interquartile range 0.4036 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2981
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2544 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003
Upper Outlier Threshold 0.8783 10
Mean With No Outliers 0.2981
Std With No Outliers 0.2544 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUEXP2N
0.8
401-AH 7.49 426-AH 14.83 0.6
402-AH 32.56 427-AH 19.13 0.4
403-AH 1.70 428-AH 0.30 0.2
Difference
404-AH 9.47 429-AH 19.34 0
405-AH 66.05 430-AH 9.91 −0.2
−0.4
406-AH 1.04 431-AH 47.85
−0.6
407-AH 16.77 432-AH 41.88
−0.8
408-AH 84.30 433-AH 44.22
−1
409-AH 75.26 434-AH 87.83 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 53.00 435-AH 5.34
411-AH 20.52 436-AH 0.03
412-AH 0.23 437-AH 42.88 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNBUEXP2N
413-AH 47.11 438-AH 61.03 0.8
414-AH 0.68 439-AH 2.18 0.6
415-AH 17.38 440-AH 38.11 0.4
416-AH 23.33 441-AH 0.49 0.2
Difference
417-AH 41.26 442-AH 58.62 0
418-AH 52.39 443-AH 19.16 −0.2
−0.4
419-AH 8.39 444-AH 38.17
−0.6
420-AH 56.84 445-AH 69.63
−0.8
421-AH 64.74 446-AH 0.25
−1
422-AH 0.89 447-AH 61.49 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 39.78 448-AH 22.86
424-AH 11.52 449-AH 25.13
425-AH 26.69 450-AH 0.46
276
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUEXP2N AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 42.00 IRNBUEXP2N
10 docs 36.80 90%
15 docs 31.33
80%
20 docs 27.90
30 docs 23.67 70%
100 docs 11.42
60%
200 docs 6.67
Precision
500 docs 3.00 50%
1000 docs 1.62 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
29.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7838
Minimum 0.0000
First Quartile 0.0588
Second Quartile 0.3083
Third Quartile 0.4815
Interquartile range 0.4227 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2974
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2305 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7838 10
Mean With No Outliers 0.2974
Std With No Outliers 0.2305 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUEXP2N
0.8
401-AH 10.00 426-AH 16.67 0.6
402-AH 32.26 427-AH 21.43 0.4
403-AH 3.45 428-AH 0.00 0.2
Difference
404-AH 11.11 429-AH 23.81 0
405-AH 50.00 430-AH 10.34 −0.2
−0.4
406-AH 0.00 431-AH 48.15
−0.6
407-AH 33.33 432-AH 42.86
−0.8
408-AH 77.50 433-AH 33.33
−1
409-AH 66.67 434-AH 78.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 41.67 435-AH 8.33
411-AH 20.00 436-AH 0.00
412-AH 0.00 437-AH 41.18 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNBUEXP2N
413-AH 45.45 438-AH 59.68 0.8
414-AH 5.00 439-AH 5.88 0.6
415-AH 27.66 440-AH 45.45 0.4
416-AH 27.78 441-AH 0.00 0.2
Difference
417-AH 50.00 442-AH 50.00 0
418-AH 50.82 443-AH 26.09 −0.2
−0.4
419-AH 0.00 444-AH 45.45
−0.6
420-AH 51.61 445-AH 61.54
−0.8
421-AH 62.50 446-AH 0.00
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.75 448-AH 33.33
424-AH 0.00 449-AH 34.78
425-AH 29.41 450-AH 4.55
277
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUEXP3 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 789 Pooled true
Geometric Mean Average Precision 0.1041 DFR with MI-BRF
Binary Preference (BPREF) 0.2407
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 55.98 IRNBUEXP3
10 48.39 90%
20 38.52
80%
30 34.00
40 30.35 70%
50 24.87
60%
60 21.77
Precision
70 18.96 50%
80 15.42 40%
90 11.18
30%
100 6.91
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9173
Minimum 0.0005
First Quartile 0.0260
Second Quartile 0.1963
Third Quartile 0.4843
Interquartile range 0.4582 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2635
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2559 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0005
Upper Outlier Threshold 0.9173 10
Mean With No Outliers 0.2635
Std With No Outliers 0.2559 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUEXP3
0.8
401-AH 20.07 426-AH 10.64 0.6
402-AH 16.22 427-AH 28.38 0.4
403-AH 0.82 428-AH 2.60 0.2
Difference
404-AH 7.68 429-AH 2.00 0
405-AH 60.35 430-AH 26.44 −0.2
−0.4
406-AH 1.52 431-AH 18.31
−0.6
407-AH 9.19 432-AH 49.93
−0.8
408-AH 87.30 433-AH 30.62
−1
409-AH 74.71 434-AH 91.73 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 52.27 435-AH 1.32
411-AH 21.93 436-AH 0.31
412-AH 0.86 437-AH 22.72 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNBUEXP3
413-AH 43.94 438-AH 56.57 0.8
414-AH 0.53 439-AH 2.23 0.6
415-AH 2.29 440-AH 15.97 0.4
416-AH 28.55 441-AH 5.71 0.2
Difference
417-AH 40.64 442-AH 48.43 0
418-AH 50.01 443-AH 15.95 −0.2
−0.4
419-AH 3.74 444-AH 42.64
−0.6
420-AH 52.97 445-AH 75.58
−0.8
421-AH 60.16 446-AH 0.05
−1
422-AH 0.21 447-AH 54.24 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 26.17 448-AH 24.44
424-AH 6.21 449-AH 19.19
425-AH 2.76 450-AH 0.52
278
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUEXP3 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 33.20 IRNBUEXP3
10 docs 31.60 90%
15 docs 28.00
80%
20 docs 24.90
30 docs 21.07 70%
100 docs 10.92
60%
200 docs 6.46
Precision
500 docs 2.93 50%
1000 docs 1.58 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
26.50
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8108
Minimum 0.0000
First Quartile 0.0345
Second Quartile 0.2265
Third Quartile 0.4444
Interquartile range 0.4100 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2650
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2337 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8108 10
Mean With No Outliers 0.2650
Std With No Outliers 0.2337 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUEXP3
0.8
401-AH 20.00 426-AH 16.67 0.6
402-AH 22.58 427-AH 28.57 0.4
403-AH 3.45 428-AH 5.56 0.2
Difference
404-AH 11.11 429-AH 9.52 0
405-AH 50.00 430-AH 34.48 −0.2
−0.4
406-AH 0.00 431-AH 18.52
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 77.50 433-AH 41.67
−1
409-AH 66.67 434-AH 81.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 41.67 435-AH 0.00
411-AH 20.00 436-AH 2.50
412-AH 0.00 437-AH 29.41 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNBUEXP3
413-AH 45.45 438-AH 50.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 6.38 440-AH 22.73 0.4
416-AH 31.48 441-AH 13.64 0.2
Difference
417-AH 44.44 442-AH 45.45 0
418-AH 52.46 443-AH 26.09 −0.2
−0.4
419-AH 0.00 444-AH 40.91
−0.6
420-AH 48.39 445-AH 69.23
−0.8
421-AH 62.50 446-AH 0.00
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 31.25 448-AH 33.33
424-AH 0.00 449-AH 17.39
425-AH 0.00 450-AH 4.55
279
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUNEXP AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 728 Pooled false
Geometric Mean Average Precision 0.0807 DFR without expansion
Binary Preference (BPREF) 0.2010
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 53.90 IRNBUNEXP
10 37.80 90%
20 32.38
80%
30 27.87
40 24.29 70%
50 20.72
60%
60 17.92
Precision
70 14.06 50%
80 10.96 40%
90 6.64
30%
100 4.06
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.19 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7474
Minimum 0.0004
First Quartile 0.0290
Second Quartile 0.1072
Third Quartile 0.3267
Interquartile range 0.2977 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2119
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2140 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0004
15
Upper Outlier Threshold 0.7474
Mean With No Outliers 0.2119 10
Std With No Outliers 0.2140
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUNEXP
0.8
401-AH 24.45 426-AH 10.07 0.6
402-AH 10.24 427-AH 24.64 0.4
403-AH 0.54 428-AH 1.24 0.2
Difference
404-AH 6.45 429-AH 10.69 0
405-AH 52.73 430-AH 14.56 −0.2
−0.4
406-AH 2.90 431-AH 4.60
−0.6
407-AH 9.09 432-AH 10.31
−0.8
408-AH 67.82 433-AH 26.60
−1
409-AH 74.74 434-AH 42.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 28.70 435-AH 0.83
411-AH 10.75 436-AH 2.33
412-AH 0.04 437-AH 20.16 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNBUNEXP
413-AH 25.29 438-AH 50.46 0.8
414-AH 0.46 439-AH 0.47 0.6
415-AH 1.35 440-AH 6.91 0.4
416-AH 25.10 441-AH 4.18 0.2
Difference
417-AH 32.38 442-AH 50.71 0
418-AH 48.96 443-AH 6.01 −0.2
−0.4
419-AH 4.05 444-AH 28.77
−0.6
420-AH 48.09 445-AH 59.14
−0.8
421-AH 66.31 446-AH 0.06
−1
422-AH 0.17 447-AH 49.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 32.67 448-AH 35.47
424-AH 1.67 449-AH 16.46
425-AH 7.61 450-AH 0.73
280
alicante 10.2415/AH-MONO-BG-CLEF2007.ALICANTE.IRNBUNEXP AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 26.40 IRNBUNEXP
10 docs 26.20 90%
15 docs 23.87
80%
20 docs 22.40
30 docs 18.40 70%
100 docs 9.56
60%
200 docs 5.80
Precision
500 docs 2.70 50%
1000 docs 1.46 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.26
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0455
Second Quartile 0.1968
Third Quartile 0.3889
Interquartile range 0.3434 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2426
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2136 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7500 10
Mean With No Outliers 0.2426
Std With No Outliers 0.2136 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNBUNEXP
0.8
401-AH 20.00 426-AH 16.67 0.6
402-AH 19.35 427-AH 28.57 0.4
403-AH 3.45 428-AH 5.56 0.2
Difference
404-AH 11.11 429-AH 9.52 0
405-AH 66.67 430-AH 24.14 −0.2
−0.4
406-AH 9.09 431-AH 11.11
−0.6
407-AH 0.00 432-AH 28.57
−0.8
408-AH 62.50 433-AH 25.00
−1
409-AH 66.67 434-AH 48.65 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 33.33 435-AH 0.00
411-AH 20.00 436-AH 7.50
412-AH 0.00 437-AH 29.41 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNBUNEXP
413-AH 36.36 438-AH 51.61 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 4.26 440-AH 13.64 0.4
416-AH 29.63 441-AH 4.55 0.2
Difference
417-AH 38.89 442-AH 45.45 0
418-AH 49.18 443-AH 17.39 −0.2
−0.4
419-AH 0.00 444-AH 31.82
−0.6
420-AH 48.39 445-AH 53.85
−0.8
421-AH 75.00 446-AH 0.00
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.75 448-AH 33.33
424-AH 0.00 449-AH 17.39
425-AH 11.76 450-AH 4.55
281
daedalus 10.2415/AH-MONO-BG-CLEF2007.DAEDALUS.BGFSBG2S AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 879 Pooled true
Geometric Mean Average Precision 0.1378 Standard baseline treatment
Binary Preference (BPREF) 0.2406
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 59.46 BGFSBG2S
10 48.63 90%
20 42.87
80%
30 36.73
40 31.80 70%
50 26.88
60%
60 22.61
Precision
70 17.98 50%
80 14.78 40%
90 9.72
30%
100 5.31
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
27.19 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8532
Minimum 0.0000
First Quartile 0.0617
Second Quartile 0.2072
Third Quartile 0.4405
Interquartile range 0.3789 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2719
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2311 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8532
6
Mean With No Outliers 0.2719
4
Std With No Outliers 0.2311
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BGFSBG2S
0.8
401-AH 37.35 426-AH 5.87 0.6
402-AH 33.40 427-AH 19.24 0.4
403-AH 21.93 428-AH 10.27 0.2
Difference
404-AH 3.46 429-AH 10.41 0
405-AH 85.32 430-AH 33.78 −0.2
−0.4
406-AH 25.67 431-AH 2.70
−0.6
407-AH 1.22 432-AH 0.66
−0.8
408-AH 75.24 433-AH 19.25
−1
409-AH 18.01 434-AH 0.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 19.17 435-AH 6.04
411-AH 6.17 436-AH 19.51
412-AH 6.15 437-AH 44.05 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BGFSBG2S
413-AH 31.21 438-AH 45.47 0.8
414-AH 4.04 439-AH 7.25 0.6
415-AH 15.44 440-AH 18.48 0.4
416-AH 31.51 441-AH 72.02 0.2
Difference
417-AH 4.96 442-AH 63.16 0
418-AH 61.28 443-AH 45.36 −0.2
−0.4
419-AH 6.27 444-AH 11.73
−0.6
420-AH 57.19 445-AH 66.19
−0.8
421-AH 48.99 446-AH 1.38
−1
422-AH 1.92 447-AH 55.98 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 33.38 448-AH 22.78
424-AH 64.77 449-AH 28.07
425-AH 24.07 450-AH 31.62
282
daedalus 10.2415/AH-MONO-BG-CLEF2007.DAEDALUS.BGFSBG2S AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 35.60 BGFSBG2S
10 docs 32.20 90%
15 docs 29.87
80%
20 docs 26.90
30 docs 23.13 70%
100 docs 11.98
60%
200 docs 7.25
Precision
500 docs 3.31 50%
1000 docs 1.76 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.84
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0833
Second Quartile 0.2500
Third Quartile 0.4483
Interquartile range 0.3649 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2784
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2233 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.2784 4
3
Std With No Outliers 0.2233
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BGFSBG2S
0.8
401-AH 40.00 426-AH 12.50 0.6
402-AH 35.48 427-AH 35.71 0.4
403-AH 27.59 428-AH 5.56 0.2
Difference
404-AH 11.11 429-AH 9.52 0
405-AH 83.33 430-AH 44.83 −0.2
−0.4
406-AH 18.18 431-AH 11.11
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 72.50 433-AH 25.00
−1
409-AH 22.22 434-AH 0.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 25.00 435-AH 8.33
411-AH 0.00 436-AH 25.00
412-AH 8.33 437-AH 41.18 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BGFSBG2S
413-AH 36.36 438-AH 53.23 0.8
414-AH 5.00 439-AH 5.88 0.6
415-AH 17.02 440-AH 22.73 0.4
416-AH 27.78 441-AH 68.18 0.2
Difference
417-AH 11.11 442-AH 63.64 0
418-AH 62.30 443-AH 47.83 −0.2
−0.4
419-AH 0.00 444-AH 18.18
−0.6
420-AH 51.61 445-AH 53.85
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 37.50 448-AH 0.00
424-AH 50.00 449-AH 26.09
425-AH 29.41 450-AH 36.36
283
jhu-apl 10.2415/AH-MONO-BG-CLEF2007.JHU-APL.APLMOBGTD4 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 969 Pooled false
Geometric Mean Average Precision 0.2321 4-grams
Binary Preference (BPREF) 0.3236
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.69 APLMOBGTD4
10 58.94 90%
20 51.21
80%
30 44.53
40 39.77 70%
50 36.58
60%
60 32.35
Precision
70 28.73 50%
80 25.94 40%
90 19.39
30%
100 12.69
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9467
Minimum 0.0048
First Quartile 0.1423
Second Quartile 0.2871
Third Quartile 0.5532
Interquartile range 0.4109 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3657
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2748 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0048
6
Upper Outlier Threshold 0.9467 5
Mean With No Outliers 0.3657 4
3
Std With No Outliers 0.2748
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOBGTD4
0.8
401-AH 17.11 426-AH 10.85 0.6
402-AH 26.91 427-AH 14.70 0.4
403-AH 13.43 428-AH 8.45 0.2
Difference
404-AH 9.67 429-AH 0.70 0
405-AH 75.56 430-AH 25.64 −0.2
−0.4
406-AH 11.46 431-AH 42.24
−0.6
407-AH 1.57 432-AH 56.91
−0.8
408-AH 88.08 433-AH 48.32
−1
409-AH 83.28 434-AH 94.24 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.10 435-AH 8.82
411-AH 4.07 436-AH 33.68
412-AH 1.82 437-AH 36.48 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOBGTD4
413-AH 37.22 438-AH 29.27 0.8
414-AH 80.61 439-AH 14.23 0.6
415-AH 15.22 440-AH 24.90 0.4
416-AH 27.76 441-AH 86.83 0.2
Difference
417-AH 44.51 442-AH 55.32 0
418-AH 54.70 443-AH 41.72 −0.2
−0.4
419-AH 7.68 444-AH 43.89
−0.6
420-AH 63.72 445-AH 94.67
−0.8
421-AH 43.67 446-AH 29.10
−1
422-AH 0.48 447-AH 70.32 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 28.31 448-AH 28.15
424-AH 69.44 449-AH 21.10
425-AH 19.92 450-AH 18.54
284
jhu-apl 10.2415/AH-MONO-BG-CLEF2007.JHU-APL.APLMOBGTD4 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 44.00 APLMOBGTD4
10 docs 39.00 90%
15 docs 35.07
80%
20 docs 32.10
30 docs 28.00 70%
100 docs 14.16
60%
200 docs 8.29
Precision
500 docs 3.68 50%
1000 docs 1.94 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.1724
Second Quartile 0.3489
Third Quartile 0.5000
Interquartile range 0.3276 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3574
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2549 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8750 4
Mean With No Outliers 0.3574 3
Std With No Outliers 0.2549 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOBGTD4
0.8
401-AH 20.00 426-AH 12.50 0.6
402-AH 35.48 427-AH 14.29 0.4
403-AH 17.24 428-AH 11.11 0.2
Difference
404-AH 11.11 429-AH 0.00 0
405-AH 83.33 430-AH 24.14 −0.2
−0.4
406-AH 9.09 431-AH 37.04
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 87.50 433-AH 50.00
−1
409-AH 77.78 434-AH 83.78 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 8.33
411-AH 0.00 436-AH 35.00
412-AH 0.00 437-AH 41.18 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOBGTD4
413-AH 36.36 438-AH 37.10 0.8
414-AH 80.00 439-AH 17.65 0.6
415-AH 27.66 440-AH 36.36 0.4
416-AH 24.07 441-AH 81.82 0.2
Difference
417-AH 44.44 442-AH 63.64 0
418-AH 54.10 443-AH 34.78 −0.2
−0.4
419-AH 0.00 444-AH 40.91
−0.6
420-AH 58.06 445-AH 84.62
−0.8
421-AH 37.50 446-AH 22.22
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 31.25 448-AH 33.33
424-AH 50.00 449-AH 26.09
425-AH 17.65 450-AH 31.82
285
jhu-apl 10.2415/AH-MONO-BG-CLEF2007.JHU-APL.APLMOBGTD5 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 934 Pooled true
Geometric Mean Average Precision 0.2086 5-grams
Binary Preference (BPREF) 0.2995
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 65.10 APLMOBGTD5
10 57.85 90%
20 50.68
80%
30 44.29
40 38.43 70%
50 34.57
60%
60 29.46
Precision
70 24.56 50%
80 21.68 40%
90 16.43
30%
100 11.69
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.01 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9231
Minimum 0.0049
First Quartile 0.1081
Second Quartile 0.2829
Third Quartile 0.5304
Interquartile range 0.4223 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3401
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2653 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0049 5
Upper Outlier Threshold 0.9231 4
Mean With No Outliers 0.3401 3
Std With No Outliers 0.2653 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOBGTD5
0.8
401-AH 23.48 426-AH 10.41 0.6
402-AH 28.06 427-AH 17.03 0.4
403-AH 6.48 428-AH 10.45 0.2
Difference
404-AH 9.82 429-AH 0.49 0
405-AH 81.60 430-AH 24.37 −0.2
−0.4
406-AH 11.78 431-AH 44.44
−0.6
407-AH 3.19 432-AH 46.84
−0.8
408-AH 92.31 433-AH 43.82
−1
409-AH 82.26 434-AH 83.05 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.14 435-AH 8.10
411-AH 3.98 436-AH 1.13
412-AH 2.74 437-AH 21.89 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOBGTD5
413-AH 37.56 438-AH 17.68 0.8
414-AH 31.50 439-AH 11.52 0.6
415-AH 19.03 440-AH 14.64 0.4
416-AH 28.51 441-AH 82.69 0.2
Difference
417-AH 32.85 442-AH 68.81 0
418-AH 53.68 443-AH 50.61 −0.2
−0.4
419-AH 6.90 444-AH 40.83
−0.6
420-AH 57.40 445-AH 89.22
−0.8
421-AH 53.04 446-AH 30.71
−1
422-AH 0.56 447-AH 65.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 26.60 448-AH 32.54
424-AH 53.25 449-AH 28.07
425-AH 35.08 450-AH 10.81
286
jhu-apl 10.2415/AH-MONO-BG-CLEF2007.JHU-APL.APLMOBGTD5 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 42.80 APLMOBGTD5
10 docs 36.40 90%
15 docs 32.53
80%
20 docs 29.30
30 docs 25.93 70%
100 docs 13.04
60%
200 docs 7.80
Precision
500 docs 3.52 50%
1000 docs 1.87 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.42
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8500
Minimum 0.0000
First Quartile 0.1364
Second Quartile 0.3022
Third Quartile 0.4706
Interquartile range 0.3342 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3242
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2419 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8500 5
Mean With No Outliers 0.3242 4
3
Std With No Outliers 0.2419
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOBGTD5
0.8
401-AH 30.00 426-AH 12.50 0.6
402-AH 35.48 427-AH 14.29 0.4
403-AH 3.45 428-AH 16.67 0.2
Difference
404-AH 11.11 429-AH 0.00 0
405-AH 83.33 430-AH 24.14 −0.2
−0.4
406-AH 9.09 431-AH 40.74
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 85.00 433-AH 41.67
−1
409-AH 77.78 434-AH 70.27 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 8.33
411-AH 0.00 436-AH 2.50
412-AH 0.00 437-AH 23.53 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOBGTD5
413-AH 36.36 438-AH 20.97 0.8
414-AH 30.00 439-AH 17.65 0.6
415-AH 23.40 440-AH 13.64 0.4
416-AH 24.07 441-AH 72.73 0.2
Difference
417-AH 38.89 442-AH 68.18 0
418-AH 54.10 443-AH 39.13 −0.2
−0.4
419-AH 0.00 444-AH 40.91
−0.6
420-AH 51.61 445-AH 76.92
−0.8
421-AH 50.00 446-AH 22.22
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 31.25 448-AH 33.33
424-AH 33.33 449-AH 30.43
425-AH 47.06 450-AH 18.18
287
jhu-apl 10.2415/AH-MONO-BG-CLEF2007.JHU-APL.APLMOBGTDN4 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description, narrative
Relevant retrieved 902 Pooled true
Geometric Mean Average Precision 0.1900 4-grams
Binary Preference (BPREF) 0.3124
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.88 APLMOBGTDN4
10 55.51 90%
20 46.94
80%
30 45.01
40 40.44 70%
50 36.28
60%
60 32.71
Precision
70 26.37 50%
80 22.65 40%
90 16.73
30%
100 11.57
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.93 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9553
Minimum 0.0006
First Quartile 0.1142
Second Quartile 0.2790
Third Quartile 0.5691
Interquartile range 0.4549 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3493
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2767 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0006
6
Upper Outlier Threshold 0.9553 5
Mean With No Outliers 0.3493 4
3
Std With No Outliers 0.2767
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOBGTDN4
0.8
401-AH 5.05 426-AH 15.02 0.6
402-AH 38.04 427-AH 15.70 0.4
403-AH 11.32 428-AH 6.68 0.2
Difference
404-AH 14.33 429-AH 1.18 0
405-AH 76.63 430-AH 18.52 −0.2
−0.4
406-AH 2.34 431-AH 42.93
−0.6
407-AH 1.31 432-AH 56.91
−0.8
408-AH 84.26 433-AH 50.22
−1
409-AH 84.60 434-AH 95.53 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 69.84 435-AH 14.80
411-AH 2.16 436-AH 0.06
412-AH 3.20 437-AH 51.55 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOBGTDN4
413-AH 24.69 438-AH 11.42 0.8
414-AH 38.42 439-AH 7.14 0.6
415-AH 27.48 440-AH 25.40 0.4
416-AH 26.66 441-AH 51.61 0.2
Difference
417-AH 17.80 442-AH 67.44 0
418-AH 57.31 443-AH 28.33 −0.2
−0.4
419-AH 4.64 444-AH 37.25
−0.6
420-AH 62.52 445-AH 90.97
−0.8
421-AH 40.37 446-AH 52.23
−1
422-AH 0.47 447-AH 74.30 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 35.40 448-AH 70.51
424-AH 62.00 449-AH 28.87
425-AH 23.34 450-AH 17.94
288
jhu-apl 10.2415/AH-MONO-BG-CLEF2007.JHU-APL.APLMOBGTDN4 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 41.60 APLMOBGTDN4
10 docs 38.00 90%
15 docs 32.40
80%
20 docs 29.80
30 docs 25.33 70%
100 docs 13.24
60%
200 docs 7.81
Precision
500 docs 3.44 50%
1000 docs 1.80 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.82
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8649
Minimum 0.0000
First Quartile 0.1176
Second Quartile 0.3113
Third Quartile 0.5738
Interquartile range 0.4561 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3382
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2629 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8649
6
Mean With No Outliers 0.3382
4
Std With No Outliers 0.2629
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOBGTDN4
0.8
401-AH 0.00 426-AH 16.67 0.6
402-AH 35.48 427-AH 14.29 0.4
403-AH 13.79 428-AH 11.11 0.2
Difference
404-AH 11.11 429-AH 0.00 0
405-AH 83.33 430-AH 17.24 −0.2
−0.4
406-AH 0.00 431-AH 33.33
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 72.50 433-AH 41.67
−1
409-AH 77.78 434-AH 86.49 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 66.67 435-AH 8.33
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 64.71 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOBGTDN4
413-AH 18.18 438-AH 17.74 0.8
414-AH 30.00 439-AH 11.76 0.6
415-AH 29.79 440-AH 27.27 0.4
416-AH 24.07 441-AH 50.00 0.2
Difference
417-AH 16.67 442-AH 63.64 0
418-AH 57.38 443-AH 30.43 −0.2
−0.4
419-AH 0.00 444-AH 36.36
−0.6
420-AH 58.06 445-AH 76.92
−0.8
421-AH 50.00 446-AH 44.44
−1
422-AH 0.00 447-AH 72.22 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 37.50 448-AH 66.67
424-AH 66.67 449-AH 34.78
425-AH 41.18 450-AH 31.82
289
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07T AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title
Relevant retrieved 900 Pooled true
Geometric Mean Average Precision 0.1701 Title-only, fusion of 4-grams and UniNE stemmer
Binary Preference (BPREF) 0.2725
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 59.80 OTBG07T
10 50.58 90%
20 44.39
80%
30 40.26
40 35.62 70%
50 32.73
60%
60 27.12
Precision
70 20.61 50%
80 17.02 40%
90 11.45
30%
100 7.89
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.48 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0054
First Quartile 0.0827
Second Quartile 0.2356
Third Quartile 0.4284
Interquartile range 0.3456 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2948
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2500 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0054 8
Upper Outlier Threshold 0.7802
6
Mean With No Outliers 0.2804
4
Std With No Outliers 0.2308
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07T
0.8
401-AH 5.00 426-AH 14.14 0.6
402-AH 28.67 427-AH 32.24 0.4
403-AH 19.69 428-AH 1.65 0.2
Difference
404-AH 2.04 429-AH 1.06 0
405-AH 78.02 430-AH 22.68 −0.2
−0.4
406-AH 8.90 431-AH 30.64
−0.6
407-AH 2.21 432-AH 43.28
−0.8
408-AH 75.85 433-AH 2.16
−1
409-AH 64.93 434-AH 53.12 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 42.84 435-AH 8.30
411-AH 9.47 436-AH 12.08
412-AH 3.89 437-AH 37.15 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTBG07T
413-AH 42.72 438-AH 8.66 0.8
414-AH 4.08 439-AH 12.46 0.6
415-AH 8.16 440-AH 16.90 0.4
416-AH 33.76 441-AH 73.78 0.2
Difference
417-AH 8.27 442-AH 50.96 0
418-AH 60.68 443-AH 70.94 −0.2
−0.4
419-AH 7.55 444-AH 40.78
−0.6
420-AH 59.01 445-AH 51.40
−0.8
421-AH 42.61 446-AH 3.86
−1
422-AH 0.54 447-AH 42.55 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 18.50 448-AH 100.00
424-AH 39.66 449-AH 20.52
425-AH 31.36 450-AH 24.44
290
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07T AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 38.40 OTBG07T
10 docs 32.60 90%
15 docs 30.13
80%
20 docs 27.70
30 docs 23.53 70%
100 docs 11.56
60%
200 docs 7.00
Precision
500 docs 3.37 50%
1000 docs 1.80 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
30.89
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0556
Second Quartile 0.3143
Third Quartile 0.5000
Interquartile range 0.4444 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3089
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2577 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.3089
Std With No Outliers 0.2577 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07T
0.8
401-AH 10.00 426-AH 20.83 0.6
402-AH 32.26 427-AH 35.71 0.4
403-AH 20.69 428-AH 5.56 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 66.67 430-AH 31.03 −0.2
−0.4
406-AH 0.00 431-AH 37.04
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 75.00 433-AH 0.00
−1
409-AH 66.67 434-AH 59.46 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.00 435-AH 8.33
411-AH 0.00 436-AH 7.50
412-AH 8.33 437-AH 35.29 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTBG07T
413-AH 54.55 438-AH 4.84 0.8
414-AH 0.00 439-AH 23.53 0.6
415-AH 2.13 440-AH 31.82 0.4
416-AH 33.33 441-AH 68.18 0.2
Difference
417-AH 16.67 442-AH 63.64 0
418-AH 63.93 443-AH 65.22 −0.2
−0.4
419-AH 0.00 444-AH 36.36
−0.6
420-AH 58.06 445-AH 53.85
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.00 447-AH 44.44 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 18.75 448-AH 100.00
424-AH 50.00 449-AH 26.09
425-AH 29.41 450-AH 36.36
291
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07TD AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 942 Pooled true
Geometric Mean Average Precision 0.2379 fusion of 4-grams and UniNE stemmer
Binary Preference (BPREF) 0.3019
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 71.97 OTBG07TD
10 56.99 90%
20 48.92
80%
30 43.76
40 39.88 70%
50 34.75
60%
60 28.62
Precision
70 23.61 50%
80 20.92 40%
90 13.65
30%
100 7.75
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.13 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8604
Minimum 0.0065
First Quartile 0.1520
Second Quartile 0.3000
Third Quartile 0.4559
Interquartile range 0.3039 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3313
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2269 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0065 5
Upper Outlier Threshold 0.8604 4
Mean With No Outliers 0.3313 3
Std With No Outliers 0.2269 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07TD
0.8
401-AH 18.11 426-AH 18.11 0.6
402-AH 33.90 427-AH 19.59 0.4
403-AH 15.20 428-AH 15.93 0.2
Difference
404-AH 4.36 429-AH 11.05 0
405-AH 86.04 430-AH 30.71 −0.2
−0.4
406-AH 21.34 431-AH 24.23
−0.6
407-AH 2.17 432-AH 44.77
−0.8
408-AH 80.59 433-AH 9.45
−1
409-AH 82.63 434-AH 57.09 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 46.93 435-AH 9.32
411-AH 5.37 436-AH 21.13
412-AH 4.44 437-AH 37.04 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTBG07TD
413-AH 41.18 438-AH 19.28 0.8
414-AH 34.57 439-AH 11.05 0.6
415-AH 14.75 440-AH 29.93 0.4
416-AH 32.97 441-AH 60.80 0.2
Difference
417-AH 29.60 442-AH 62.36 0
418-AH 60.09 443-AH 45.59 −0.2
−0.4
419-AH 9.22 444-AH 53.61
−0.6
420-AH 63.67 445-AH 42.96
−0.8
421-AH 43.80 446-AH 12.31
−1
422-AH 0.65 447-AH 38.70 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 30.81 448-AH 72.92
424-AH 67.42 449-AH 25.75
425-AH 30.06 450-AH 22.73
292
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07TD AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 39.20 OTBG07TD
10 docs 37.80 90%
15 docs 34.00
80%
20 docs 30.20
30 docs 26.20 70%
100 docs 13.42
60%
200 docs 8.12
Precision
500 docs 3.68 50%
1000 docs 1.88 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.08
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3485
Third Quartile 0.5000
Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3508
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2181 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3508 4
3
Std With No Outliers 0.2181
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07TD
0.8
401-AH 10.00 426-AH 20.83 0.6
402-AH 38.71 427-AH 14.29 0.4
403-AH 17.24 428-AH 16.67 0.2
Difference
404-AH 11.11 429-AH 19.05 0
405-AH 83.33 430-AH 41.38 −0.2
−0.4
406-AH 18.18 431-AH 33.33
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 80.00 433-AH 16.67
−1
409-AH 77.78 434-AH 62.16 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 8.33
411-AH 0.00 436-AH 27.50
412-AH 8.33 437-AH 41.18 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTBG07TD
413-AH 54.55 438-AH 14.52 0.8
414-AH 45.00 439-AH 11.76 0.6
415-AH 29.79 440-AH 31.82 0.4
416-AH 31.48 441-AH 63.64 0.2
Difference
417-AH 33.33 442-AH 63.64 0
418-AH 59.02 443-AH 43.48 −0.2
−0.4
419-AH 0.00 444-AH 50.00
−0.6
420-AH 58.06 445-AH 38.46
−0.8
421-AH 37.50 446-AH 33.33
−1
422-AH 0.00 447-AH 38.89 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.75 448-AH 66.67
424-AH 50.00 449-AH 30.43
425-AH 41.18 450-AH 36.36
293
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07TDE AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 957 Pooled false
Geometric Mean Average Precision 0.2404 blind feedback run (50% weight on first 3 rows of
Binary Preference (BPREF) 0.3208 otBG07td)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 69.42 OTBG07TDE
10 58.16 90%
20 49.42
80%
30 45.89
40 40.37 70%
50 37.54
60%
60 32.19
Precision
70 27.71 50%
80 23.91 40%
90 14.88
30%
100 9.99
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
35.02 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9088
Minimum 0.0039
First Quartile 0.1303
Second Quartile 0.3178
Third Quartile 0.5187
Interquartile range 0.3884 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3502
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2528 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0039
6
Upper Outlier Threshold 0.9088 5
Mean With No Outliers 0.3502 4
3
Std With No Outliers 0.2528
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07TDE
0.8
401-AH 13.27 426-AH 18.80 0.6
402-AH 33.51 427-AH 13.12 0.4
403-AH 9.31 428-AH 10.49 0.2
Difference
404-AH 3.42 429-AH 9.46 0
405-AH 70.22 430-AH 25.00 −0.2
−0.4
406-AH 9.73 431-AH 34.98
−0.6
407-AH 13.03 432-AH 46.61
−0.8
408-AH 80.05 433-AH 12.63
−1
409-AH 90.88 434-AH 71.80 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 52.52 435-AH 6.20
411-AH 10.13 436-AH 22.08
412-AH 4.14 437-AH 45.91 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTBG07TDE
413-AH 25.61 438-AH 23.92 0.8
414-AH 22.03 439-AH 9.20 0.6
415-AH 34.35 440-AH 30.04 0.4
416-AH 41.58 441-AH 74.50 0.2
Difference
417-AH 45.66 442-AH 50.61 0
418-AH 53.35 443-AH 47.02 −0.2
−0.4
419-AH 4.42 444-AH 54.81
−0.6
420-AH 72.91 445-AH 75.56
−0.8
421-AH 51.87 446-AH 14.25
−1
422-AH 0.39 447-AH 42.92 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 35.32 448-AH 86.67
424-AH 70.79 449-AH 42.73
425-AH 17.12 450-AH 16.16
294
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07TDE AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 41.60 OTBG07TDE
10 docs 38.60 90%
15 docs 34.80
80%
20 docs 32.00
30 docs 27.40 70%
100 docs 14.04
60%
200 docs 8.36
Precision
500 docs 3.67 50%
1000 docs 1.91 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.02
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.1429
Second Quartile 0.3583
Third Quartile 0.5000
Interquartile range 0.3571 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3402
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2304 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8889 5
Mean With No Outliers 0.3402 4
3
Std With No Outliers 0.2304
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07TDE
0.8
401-AH 10.00 426-AH 29.17 0.6
402-AH 38.71 427-AH 14.29 0.4
403-AH 10.34 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 19.05 0
405-AH 50.00 430-AH 31.03 −0.2
−0.4
406-AH 9.09 431-AH 44.44
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 70.00 433-AH 16.67
−1
409-AH 88.89 434-AH 75.68 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.00 435-AH 8.33
411-AH 0.00 436-AH 22.50
412-AH 8.33 437-AH 35.29 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTBG07TDE
413-AH 18.18 438-AH 22.58 0.8
414-AH 25.00 439-AH 5.88 0.6
415-AH 38.30 440-AH 36.36 0.4
416-AH 38.89 441-AH 68.18 0.2
Difference
417-AH 55.56 442-AH 54.55 0
418-AH 50.82 443-AH 43.48 −0.2
−0.4
419-AH 0.00 444-AH 50.00
−0.6
420-AH 64.52 445-AH 69.23
−0.8
421-AH 50.00 446-AH 33.33
−1
422-AH 0.00 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 37.50 448-AH 66.67
424-AH 50.00 449-AH 39.13
425-AH 35.29 450-AH 22.73
295
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07TDNZ AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description, narrative
Relevant retrieved 955 Pooled true
Geometric Mean Average Precision 0.1705 depth-10000 sampling run (orig ranks in first 5
Binary Preference (BPREF) 0.2329 decimal places of rsv)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 71.17 OTBG07TDNZ
10 58.20 90%
20 46.86
80%
30 34.13
40 23.34 70%
50 20.88
60%
60 16.05
Precision
70 13.42 50%
80 11.69 40%
90 6.89
30%
100 4.87
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
25.27 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8415
Minimum 0.0091
First Quartile 0.0973
Second Quartile 0.2008
Third Quartile 0.3727
Interquartile range 0.2754 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2527
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1923 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0091
6
Upper Outlier Threshold 0.5985 5
Mean With No Outliers 0.2286 4
3
Std With No Outliers 0.1540
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07TDNZ
0.8
401-AH 17.02 426-AH 17.20 0.6
402-AH 32.37 427-AH 9.73 0.4
403-AH 9.60 428-AH 9.50 0.2
Difference
404-AH 4.18 429-AH 6.08 0
405-AH 84.15 430-AH 21.01 −0.2
−0.4
406-AH 20.47 431-AH 17.25
−0.6
407-AH 0.91 432-AH 42.05
−0.8
408-AH 48.82 433-AH 10.12
−1
409-AH 82.11 434-AH 33.98 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 38.62 435-AH 5.94
411-AH 2.37 436-AH 14.15
412-AH 3.45 437-AH 28.90 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTBG07TDNZ
413-AH 39.90 438-AH 17.28 0.8
414-AH 35.67 439-AH 5.77 0.6
415-AH 17.10 440-AH 24.10 0.4
416-AH 19.43 441-AH 37.07 0.2
Difference
417-AH 18.56 442-AH 37.27 0
418-AH 39.60 443-AH 32.07 −0.2
−0.4
419-AH 1.42 444-AH 32.08
−0.6
420-AH 48.18 445-AH 41.57
−0.8
421-AH 40.10 446-AH 9.53
−1
422-AH 0.99 447-AH 13.29 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 19.70 448-AH 50.93
424-AH 59.85 449-AH 26.44
425-AH 25.56 450-AH 10.27
296
opentext 10.2415/AH-MONO-BG-CLEF2007.OPENTEXT.OTBG07TDNZ AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 42.80 OTBG07TDNZ
10 docs 39.80 90%
15 docs 30.93
80%
20 docs 24.40
30 docs 16.60 70%
100 docs 6.16
60%
200 docs 7.72
Precision
500 docs 3.72 50%
1000 docs 1.91 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.01
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1452
Second Quartile 0.2423
Third Quartile 0.3529
Interquartile range 0.2078 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2701
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1791 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.5833 5
Mean With No Outliers 0.2478 4
3
Std With No Outliers 0.1438
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTBG07TDNZ
0.8
401-AH 20.00 426-AH 25.00 0.6
402-AH 32.26 427-AH 14.29 0.4
403-AH 10.34 428-AH 16.67 0.2
Difference
404-AH 11.11 429-AH 9.52 0
405-AH 83.33 430-AH 24.14 −0.2
−0.4
406-AH 18.18 431-AH 22.22
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 40.00 433-AH 16.67
−1
409-AH 77.78 434-AH 24.32 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 16.67
411-AH 0.00 436-AH 12.50
412-AH 8.33 437-AH 35.29 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTBG07TDNZ
413-AH 54.55 438-AH 14.52 0.8
414-AH 35.00 439-AH 11.76 0.6
415-AH 19.15 440-AH 27.27 0.4
416-AH 12.96 441-AH 36.36 0.2
Difference
417-AH 22.22 442-AH 36.36 0
418-AH 29.51 443-AH 30.43 −0.2
−0.4
419-AH 0.00 444-AH 27.27
−0.6
420-AH 38.71 445-AH 46.15
−0.8
421-AH 50.00 446-AH 22.22
−1
422-AH 0.00 447-AH 22.22 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 31.25 448-AH 33.33
424-AH 50.00 449-AH 26.09
425-AH 35.29 450-AH 18.18
297
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG1 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 991 Pooled true
Geometric Mean Average Precision 0.2919 Okapi & PB2 & LM
Binary Preference (BPREF) 0.3632
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.96 UNINEBG1
10 63.53 90%
20 56.06
80%
30 51.16
40 47.35 70%
50 43.08
60%
60 37.45
Precision
70 32.05 50%
80 28.47 40%
90 21.56
30%
100 15.38
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
41.28 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9183
Minimum 0.0128
First Quartile 0.1435
Second Quartile 0.3924
Third Quartile 0.6129
Interquartile range 0.4693 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4128
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2662 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0128 5
Upper Outlier Threshold 0.9183 4
Mean With No Outliers 0.4128 3
Std With No Outliers 0.2662 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG1
0.8
401-AH 16.18 426-AH 8.94 0.6
402-AH 36.22 427-AH 25.69 0.4
403-AH 53.27 428-AH 3.48 0.2
Difference
404-AH 12.06 429-AH 14.35 0
405-AH 81.70 430-AH 35.80 −0.2
−0.4
406-AH 12.39 431-AH 50.74
−0.6
407-AH 10.75 432-AH 62.37
−0.8
408-AH 91.83 433-AH 43.91
−1
409-AH 89.03 434-AH 90.88 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 59.54 435-AH 7.96
411-AH 6.06 436-AH 27.48
412-AH 1.75 437-AH 60.62 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG1
413-AH 33.27 438-AH 56.87 0.8
414-AH 67.59 439-AH 12.24 0.6
415-AH 31.21 440-AH 28.16 0.4
416-AH 34.08 441-AH 79.41 0.2
Difference
417-AH 19.75 442-AH 61.29 0
418-AH 58.19 443-AH 64.65 −0.2
−0.4
419-AH 6.35 444-AH 51.77
−0.6
420-AH 67.57 445-AH 77.45
−0.8
421-AH 51.24 446-AH 13.10
−1
422-AH 1.28 447-AH 44.93 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 37.56 448-AH 83.33
424-AH 64.54 449-AH 32.64
425-AH 41.54 450-AH 40.91
298
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG1 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 46.40 UNINEBG1
10 docs 42.40 90%
15 docs 38.40
80%
20 docs 35.90
30 docs 30.47 70%
100 docs 15.72
60%
200 docs 9.17
Precision
500 docs 3.91 50%
1000 docs 1.98 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.84
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.1818
Second Quartile 0.4129
Third Quartile 0.5645
Interquartile range 0.3827 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3884
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2417 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8889 4
Mean With No Outliers 0.3884 3
Std With No Outliers 0.2417 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG1
0.8
401-AH 10.00 426-AH 12.50 0.6
402-AH 38.71 427-AH 28.57 0.4
403-AH 48.28 428-AH 0.00 0.2
Difference
404-AH 11.11 429-AH 19.05 0
405-AH 66.67 430-AH 44.83 −0.2
−0.4
406-AH 18.18 431-AH 51.85
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 80.00 433-AH 41.67
−1
409-AH 88.89 434-AH 78.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 8.33
411-AH 0.00 436-AH 35.00
412-AH 0.00 437-AH 47.06 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG1
413-AH 36.36 438-AH 56.45 0.8
414-AH 60.00 439-AH 5.88 0.6
415-AH 38.30 440-AH 31.82 0.4
416-AH 33.33 441-AH 72.73 0.2
Difference
417-AH 33.33 442-AH 63.64 0
418-AH 57.38 443-AH 52.17 −0.2
−0.4
419-AH 0.00 444-AH 40.91
−0.6
420-AH 58.06 445-AH 76.92
−0.8
421-AH 50.00 446-AH 11.11
−1
422-AH 0.00 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.75 448-AH 66.67
424-AH 50.00 449-AH 34.78
425-AH 47.06 450-AH 40.91
299
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG2 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 986 Pooled true
Geometric Mean Average Precision 0.2832 LM & InC2
Binary Preference (BPREF) 0.3632
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 74.26 UNINEBG2
10 61.68 90%
20 54.91
80%
30 51.24
40 47.73 70%
50 42.92
60%
60 37.37
Precision
70 32.04 50%
80 28.44 40%
90 21.72
30%
100 15.31
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
41.08 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9201
Minimum 0.0135
First Quartile 0.1411
Second Quartile 0.3872
Third Quartile 0.6075
Interquartile range 0.4664 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4108
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2641 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0135
6
Upper Outlier Threshold 0.9201 5
Mean With No Outliers 0.4108 4
3
Std With No Outliers 0.2641
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG2
0.8
401-AH 13.00 426-AH 9.18 0.6
402-AH 38.29 427-AH 33.50 0.4
403-AH 63.61 428-AH 3.90 0.2
Difference
404-AH 14.11 429-AH 25.03 0
405-AH 76.69 430-AH 37.40 −0.2
−0.4
406-AH 14.46 431-AH 54.10
−0.6
407-AH 11.82 432-AH 66.91
−0.8
408-AH 91.68 433-AH 45.43
−1
409-AH 86.40 434-AH 92.01 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 60.75 435-AH 6.73
411-AH 5.81 436-AH 29.45
412-AH 2.04 437-AH 60.86 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG2
413-AH 33.21 438-AH 54.12 0.8
414-AH 50.85 439-AH 7.03 0.6
415-AH 31.46 440-AH 33.22 0.4
416-AH 37.96 441-AH 81.61 0.2
Difference
417-AH 3.77 442-AH 56.86 0
418-AH 58.19 443-AH 69.18 −0.2
−0.4
419-AH 3.82 444-AH 51.74
−0.6
420-AH 70.73 445-AH 65.32
−0.8
421-AH 38.53 446-AH 11.80
−1
422-AH 1.35 447-AH 49.80 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 38.96 448-AH 83.33
424-AH 59.57 449-AH 36.91
425-AH 38.92 450-AH 42.62
300
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG2 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 47.20 UNINEBG2
10 docs 42.40 90%
15 docs 38.93
80%
20 docs 35.40
30 docs 30.00 70%
100 docs 16.28
60%
200 docs 9.09
Precision
500 docs 3.86 50%
1000 docs 1.97 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.23
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.1818
Second Quartile 0.4286
Third Quartile 0.5833
Interquartile range 0.4015 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3923
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2514 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8889 5
Mean With No Outliers 0.3923 4
3
Std With No Outliers 0.2514
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG2
0.8
401-AH 20.00 426-AH 12.50 0.6
402-AH 41.94 427-AH 42.86 0.4
403-AH 58.62 428-AH 0.00 0.2
Difference
404-AH 11.11 429-AH 28.57 0
405-AH 66.67 430-AH 44.83 −0.2
−0.4
406-AH 18.18 431-AH 48.15
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 82.50 433-AH 41.67
−1
409-AH 88.89 434-AH 78.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 8.33
411-AH 0.00 436-AH 30.00
412-AH 0.00 437-AH 58.82 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG2
413-AH 36.36 438-AH 59.68 0.8
414-AH 55.00 439-AH 0.00 0.6
415-AH 40.43 440-AH 27.27 0.4
416-AH 37.04 441-AH 72.73 0.2
Difference
417-AH 5.56 442-AH 59.09 0
418-AH 54.10 443-AH 52.17 −0.2
−0.4
419-AH 0.00 444-AH 45.45
−0.6
420-AH 64.52 445-AH 76.92
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.75 448-AH 66.67
424-AH 50.00 449-AH 39.13
425-AH 41.18 450-AH 45.45
301
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG3 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description
Relevant retrieved 991 Pooled false
Geometric Mean Average Precision 0.2824 LM (4-gram & words)
Binary Preference (BPREF) 0.3578
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 71.28 UNINEBG3
10 61.29 90%
20 53.44
80%
30 49.47
40 47.20 70%
50 44.08
60%
60 38.74
Precision
70 31.16 50%
80 27.90 40%
90 21.17
30%
100 14.95
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.99 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9331
Minimum 0.0112
First Quartile 0.1450
Second Quartile 0.3656
Third Quartile 0.5666
Interquartile range 0.4217 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3999
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2623 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0112 4
Upper Outlier Threshold 0.9331
3
Mean With No Outliers 0.3999
2
Std With No Outliers 0.2623
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG3
0.8
401-AH 18.19 426-AH 10.48 0.6
402-AH 36.41 427-AH 27.71 0.4
403-AH 51.01 428-AH 5.82 0.2
Difference
404-AH 12.33 429-AH 13.99 0
405-AH 73.96 430-AH 36.22 −0.2
−0.4
406-AH 8.57 431-AH 54.10
−0.6
407-AH 9.44 432-AH 49.12
−0.8
408-AH 93.31 433-AH 33.88
−1
409-AH 90.81 434-AH 86.84 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.64 435-AH 14.50
411-AH 5.38 436-AH 25.90
412-AH 1.65 437-AH 50.92 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG3
413-AH 29.61 438-AH 56.66 0.8
414-AH 51.98 439-AH 9.42 0.6
415-AH 29.08 440-AH 24.39 0.4
416-AH 36.57 441-AH 82.97 0.2
Difference
417-AH 20.20 442-AH 64.52 0
418-AH 53.11 443-AH 62.98 −0.2
−0.4
419-AH 4.12 444-AH 46.19
−0.6
420-AH 69.25 445-AH 85.96
−0.8
421-AH 40.21 446-AH 10.96
−1
422-AH 1.12 447-AH 46.89 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 46.25 448-AH 79.17
424-AH 64.74 449-AH 48.13
425-AH 36.55 450-AH 29.45
302
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG3 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 46.80 UNINEBG3
10 docs 40.60 90%
15 docs 37.20
80%
20 docs 35.20
30 docs 29.93 70%
100 docs 15.88
60%
200 docs 9.16
Precision
500 docs 3.89 50%
1000 docs 1.98 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.14
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.1818
Second Quartile 0.4317
Third Quartile 0.5574
Interquartile range 0.3756 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3914
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2508 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8889 5
Mean With No Outliers 0.3914 4
3
Std With No Outliers 0.2508
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG3
0.8
401-AH 20.00 426-AH 12.50 0.6
402-AH 38.71 427-AH 42.86 0.4
403-AH 51.72 428-AH 0.00 0.2
Difference
404-AH 11.11 429-AH 14.29 0
405-AH 66.67 430-AH 44.83 −0.2
−0.4
406-AH 18.18 431-AH 55.56
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 82.50 433-AH 41.67
−1
409-AH 88.89 434-AH 78.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 66.67 435-AH 8.33
411-AH 0.00 436-AH 25.00
412-AH 0.00 437-AH 58.82 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG3
413-AH 27.27 438-AH 58.06 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 36.17 440-AH 27.27 0.4
416-AH 35.19 441-AH 72.73 0.2
Difference
417-AH 33.33 442-AH 59.09 0
418-AH 55.74 443-AH 52.17 −0.2
−0.4
419-AH 0.00 444-AH 36.36
−0.6
420-AH 64.52 445-AH 76.92
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.00 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 66.67
424-AH 50.00 449-AH 43.48
425-AH 47.06 450-AH 45.45
303
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG4 AH-MONO-BG-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bulgarian
Relevant 1,012 Topic Fields title, description, narrative
Relevant retrieved 995 Pooled true
Geometric Mean Average Precision 0.3206 Okapi & PB2 & LM
Binary Preference (BPREF) 0.3922
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 77.45 UNINEBG4
10 69.94 90%
20 59.45
80%
30 54.32
40 50.35 70%
50 45.73
60%
60 39.85
Precision
70 34.96 50%
80 31.28 40%
90 22.88
30%
100 16.41
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
44.22 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9509
Minimum 0.0163
First Quartile 0.2124
Second Quartile 0.4413
Third Quartile 0.6545
Interquartile range 0.4420 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4422
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2661 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0163 4
Upper Outlier Threshold 0.9509
3
Mean With No Outliers 0.4422
2
Std With No Outliers 0.2661
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG4
0.8
401-AH 16.23 426-AH 10.78 0.6
402-AH 46.58 427-AH 21.41 0.4
403-AH 31.47 428-AH 3.49 0.2
Difference
404-AH 23.18 429-AH 16.01 0
405-AH 78.81 430-AH 41.53 −0.2
−0.4
406-AH 21.24 431-AH 48.35
−0.6
407-AH 7.90 432-AH 62.37
−0.8
408-AH 95.09 433-AH 55.03
−1
409-AH 89.44 434-AH 92.09 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.00 435-AH 9.31
411-AH 4.63 436-AH 27.30
412-AH 2.70 437-AH 59.24 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG4
413-AH 35.60 438-AH 61.27 0.8
414-AH 59.09 439-AH 12.07 0.6
415-AH 44.50 440-AH 35.98 0.4
416-AH 32.04 441-AH 79.05 0.2
Difference
417-AH 18.54 442-AH 65.45 0
418-AH 57.09 443-AH 58.71 −0.2
−0.4
419-AH 5.65 444-AH 51.03
−0.6
420-AH 69.14 445-AH 77.38
−0.8
421-AH 67.52 446-AH 54.74
−1
422-AH 1.63 447-AH 71.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.59 448-AH 83.33
424-AH 69.88 449-AH 40.90
425-AH 43.76 450-AH 39.82
304
unine 10.2415/AH-MONO-BG-CLEF2007.UNINE.UNINEBG4 AH-MONO-BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 53.20 UNINEBG4
10 docs 46.60 90%
15 docs 40.53
80%
20 docs 37.00
30 docs 31.67 70%
100 docs 16.20
60%
200 docs 9.19
Precision
500 docs 3.90 50%
1000 docs 1.99 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
40.54
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.2222
Second Quartile 0.4410
Third Quartile 0.5833
Interquartile range 0.3611 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4054
Ad−Hoc Monolingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2384 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8889 4
Mean With No Outliers 0.4054 3
Std With No Outliers 0.2384 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEBG4
0.8
401-AH 30.00 426-AH 16.67 0.6
402-AH 45.16 427-AH 21.43 0.4
403-AH 37.93 428-AH 0.00 0.2
Difference
404-AH 22.22 429-AH 19.05 0
405-AH 66.67 430-AH 41.38 −0.2
−0.4
406-AH 18.18 431-AH 44.44
−0.6
407-AH 0.00 432-AH 42.86
−0.8
408-AH 85.00 433-AH 58.33
−1
409-AH 88.89 434-AH 75.68 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 66.67 435-AH 8.33
411-AH 0.00 436-AH 35.00
412-AH 0.00 437-AH 52.94 1
Ad−Hoc Monolingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEBG4
413-AH 36.36 438-AH 59.68 0.8
414-AH 55.00 439-AH 5.88 0.6
415-AH 48.94 440-AH 36.36 0.4
416-AH 24.07 441-AH 63.64 0.2
Difference
417-AH 22.22 442-AH 59.09 0
418-AH 57.38 443-AH 52.17 −0.2
−0.4
419-AH 0.00 444-AH 45.45
−0.6
420-AH 61.29 445-AH 76.92
−0.8
421-AH 62.50 446-AH 44.44
−1
422-AH 0.00 447-AH 55.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 43.75 448-AH 66.67
424-AH 50.00 449-AH 34.78
425-AH 47.06 450-AH 40.91
305
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZEXP2 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 591 Pooled false
Geometric Mean Average Precision 0.0779 DFR with BRF
Binary Preference (BPREF) 0.2221
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 50.90 IRNCZEXP2
10 45.02 90%
20 38.58
80%
30 33.49
40 27.99 70%
50 25.50
60%
60 21.43
Precision
70 18.36 50%
80 15.43 40%
90 8.26
30%
100 6.03
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
24.81 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9429
Minimum 0.0000
First Quartile 0.0311
Second Quartile 0.1484
Third Quartile 0.3498
Interquartile range 0.3187 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2481
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2757 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8245 10
Mean With No Outliers 0.2057
Std With No Outliers 0.2243 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZEXP2
0.8
401-AH 47.71 426-AH 8.47 0.6
402-AH 32.91 427-AH 19.95 0.4
403-AH 1.22 428-AH 1.33 0.2
Difference
404-AH 40.34 429-AH 13.83 0
405-AH 61.48 430-AH 0.03 −0.2
−0.4
406-AH 4.07 431-AH 1.28
−0.6
407-AH 3.11 432-AH 1.06
−0.8
408-AH 82.45 433-AH 12.07
−1
409-AH 4.58 434-AH 88.89 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.56 435-AH 8.35
411-AH 0.69 436-AH 0.00
412-AH 1.52 437-AH 90.62 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNCZEXP2
413-AH 12.78 438-AH 21.54 0.8
414-AH 34.98 439-AH 1.50 0.6
415-AH 20.03 440-AH 5.38 0.4
416-AH 31.51 441-AH 0.03 0.2
Difference
417-AH 25.04 442-AH 34.14 0
418-AH 61.61 443-AH 5.29 −0.2
−0.4
419-AH 15.85 444-AH 19.92
−0.6
420-AH 27.28 445-AH 94.29
−0.8
421-AH 5.16 446-AH 0.12
−1
422-AH 8.40 447-AH 57.15 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 66.98 448-AH 20.58
424-AH 9.32 449-AH 2.22
425-AH 37.56 450-AH 17.27
306
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZEXP2 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 32.80 IRNCZEXP2
10 docs 27.80 90%
15 docs 23.33
80%
20 docs 20.20
30 docs 16.00 70%
100 docs 7.38
60%
200 docs 4.34
Precision
500 docs 2.08 50%
1000 docs 1.18 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.16
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1988
Third Quartile 0.3750
Interquartile range 0.3750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2416
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2479 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8750
Mean With No Outliers 0.2416 10
Std With No Outliers 0.2479
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZEXP2
0.8
401-AH 45.45 426-AH 9.09 0.6
402-AH 37.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 43.18 429-AH 18.92 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 4.55
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 81.25 433-AH 21.05
−1
409-AH 16.67 434-AH 76.92 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.00 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 4.17 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNCZEXP2
413-AH 0.00 438-AH 23.33 0.8
414-AH 33.33 439-AH 9.09 0.6
415-AH 34.04 440-AH 2.38 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 25.00 442-AH 40.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 23.53
−0.6
420-AH 36.36 445-AH 80.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 12.50 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 0.00
425-AH 40.00 450-AH 20.83
307
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZEXP2N AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 610 Pooled true
Geometric Mean Average Precision 0.0889 DFR with BRF
Binary Preference (BPREF) 0.2478
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.21 IRNCZEXP2N
10 49.10 90%
20 42.78
80%
30 36.57
40 31.58 70%
50 29.42
60%
60 22.53
Precision
70 18.36 50%
80 16.21 40%
90 10.70
30%
100 7.05
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
27.68 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0447
Second Quartile 0.1922
Third Quartile 0.3873
Interquartile range 0.3426 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2768
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2749 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8419 10
Mean With No Outliers 0.2486
Std With No Outliers 0.2416 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZEXP2N
0.8
401-AH 33.89 426-AH 9.04 0.6
402-AH 35.33 427-AH 20.05 0.4
403-AH 1.54 428-AH 1.04 0.2
Difference
404-AH 32.16 429-AH 25.81 0
405-AH 71.43 430-AH 0.00 −0.2
−0.4
406-AH 10.47 431-AH 2.53
−0.6
407-AH 0.06 432-AH 36.38
−0.8
408-AH 77.40 433-AH 38.73
−1
409-AH 1.64 434-AH 84.19 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.66 435-AH 17.63
411-AH 0.33 436-AH 0.01
412-AH 4.47 437-AH 90.83 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNCZEXP2N
413-AH 16.90 438-AH 15.02 0.8
414-AH 40.29 439-AH 0.06 0.6
415-AH 18.39 440-AH 71.11 0.4
416-AH 39.26 441-AH 1.04 0.2
Difference
417-AH 34.15 442-AH 36.26 0
418-AH 44.65 443-AH 13.01 −0.2
−0.4
419-AH 18.10 444-AH 16.62
−0.6
420-AH 27.44 445-AH 100.00
−0.8
421-AH 7.87 446-AH 0.85
−1
422-AH 20.75 447-AH 59.03 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 72.02 448-AH 22.41
424-AH 8.23 449-AH 1.12
425-AH 21.86 450-AH 7.20
308
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZEXP2N AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 39.60 IRNCZEXP2N
10 docs 30.40 90%
15 docs 26.80
80%
20 docs 23.30
30 docs 18.20 70%
100 docs 7.86
60%
200 docs 4.72
Precision
500 docs 2.25 50%
1000 docs 1.22 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.44
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0417
Second Quartile 0.2500
Third Quartile 0.4000
Interquartile range 0.3583 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2744
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2617 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8750
Mean With No Outliers 0.2595 10
Std With No Outliers 0.2424
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZEXP2N
0.8
401-AH 27.27 426-AH 9.09 0.6
402-AH 40.00 427-AH 25.00 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 38.64 429-AH 21.62 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 15.38 431-AH 4.55
−0.6
407-AH 0.00 432-AH 28.57
−0.8
408-AH 75.00 433-AH 36.84
−1
409-AH 0.00 434-AH 76.92 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 20.00
411-AH 0.00 436-AH 0.00
412-AH 4.17 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNCZEXP2N
413-AH 0.00 438-AH 20.00 0.8
414-AH 58.33 439-AH 0.00 0.6
415-AH 25.53 440-AH 61.90 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 27.50 442-AH 60.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 29.41
−0.6
420-AH 45.45 445-AH 100.00
−0.8
421-AH 14.29 446-AH 4.76
−1
422-AH 28.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 0.00
425-AH 20.00 450-AH 4.17
309
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZEXP3 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 607 Pooled true
Geometric Mean Average Precision 0.0811 DFR with MI-BRF
Binary Preference (BPREF) 0.2253
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 52.12 IRNCZEXP3
10 44.99 90%
20 39.28
80%
30 34.18
40 28.00 70%
50 25.18
60%
60 21.70
Precision
70 18.05 50%
80 13.91 40%
90 7.69
30%
100 5.24
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
24.84 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0311
Second Quartile 0.1632
Third Quartile 0.3597
Interquartile range 0.3286 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2484
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2677 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8210 10
Mean With No Outliers 0.2193
Std With No Outliers 0.2299 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZEXP3
0.8
401-AH 47.93 426-AH 8.61 0.6
402-AH 32.82 427-AH 15.64 0.4
403-AH 0.48 428-AH 1.15 0.2
Difference
404-AH 40.34 429-AH 12.02 0
405-AH 61.48 430-AH 0.03 −0.2
−0.4
406-AH 4.95 431-AH 4.36
−0.6
407-AH 3.11 432-AH 1.38
−0.8
408-AH 82.10 433-AH 11.12
−1
409-AH 2.52 434-AH 79.58 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 74.09 435-AH 8.15
411-AH 0.94 436-AH 0.00
412-AH 1.59 437-AH 89.64 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNCZEXP3
413-AH 17.01 438-AH 24.34 0.8
414-AH 36.01 439-AH 1.49 0.6
415-AH 20.94 440-AH 5.38 0.4
416-AH 33.80 441-AH 0.03 0.2
Difference
417-AH 25.71 442-AH 32.76 0
418-AH 54.73 443-AH 6.30 −0.2
−0.4
419-AH 18.66 444-AH 20.37
−0.6
420-AH 27.74 445-AH 100.00
−0.8
421-AH 9.36 446-AH 0.13
−1
422-AH 8.95 447-AH 57.15 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 63.21 448-AH 21.89
424-AH 14.69 449-AH 3.05
425-AH 35.97 450-AH 18.36
310
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZEXP3 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 33.60 IRNCZEXP3
10 docs 28.00 90%
15 docs 23.60
80%
20 docs 20.10
30 docs 16.00 70%
100 docs 7.40
60%
200 docs 4.41
Precision
500 docs 2.12 50%
1000 docs 1.21 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.96
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1833
Third Quartile 0.4000
Interquartile range 0.4000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2496
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2550 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.2496
Std With No Outliers 0.2550 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZEXP3
0.8
401-AH 54.55 426-AH 9.09 0.6
402-AH 40.00 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 43.18 429-AH 16.22 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 7.69 431-AH 9.09
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 75.00 433-AH 21.05
−1
409-AH 0.00 434-AH 76.92 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 20.00
411-AH 0.00 436-AH 0.00
412-AH 4.17 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNCZEXP3
413-AH 0.00 438-AH 23.33 0.8
414-AH 41.67 439-AH 9.09 0.6
415-AH 36.17 440-AH 2.38 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 27.50 442-AH 40.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 23.53
−0.6
420-AH 36.36 445-AH 100.00
−0.8
421-AH 14.29 446-AH 0.00
−1
422-AH 12.50 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 0.00
425-AH 40.00 450-AH 16.67
311
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZNEXP AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 564 Pooled false
Geometric Mean Average Precision 0.0803 DFR without expansion
Binary Preference (BPREF) 0.1963
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 50.89 IRNCZNEXP
10 41.54 90%
20 34.99
80%
30 29.74
40 25.39 70%
50 22.09
60%
60 18.96
Precision
70 10.87 50%
80 8.80 40%
90 3.42
30%
100 1.53
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
20.92 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7666
Minimum 0.0005
First Quartile 0.0305
Second Quartile 0.1137
Third Quartile 0.3135
Interquartile range 0.2830 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2092
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2252 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0005
Upper Outlier Threshold 0.7040 10
Mean With No Outliers 0.1865
Std With No Outliers 0.1992 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZNEXP
0.8
401-AH 38.67 426-AH 2.61 0.6
402-AH 27.62 427-AH 16.77 0.4
403-AH 0.95 428-AH 0.97 0.2
Difference
404-AH 38.58 429-AH 10.08 0
405-AH 59.42 430-AH 0.05 −0.2
−0.4
406-AH 1.07 431-AH 6.08
−0.6
407-AH 5.63 432-AH 3.05
−0.8
408-AH 76.66 433-AH 10.69
−1
409-AH 4.20 434-AH 65.61 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.40 435-AH 5.32
411-AH 0.87 436-AH 0.09
412-AH 1.08 437-AH 61.26 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNCZNEXP
413-AH 8.57 438-AH 14.20 0.8
414-AH 45.60 439-AH 1.25 0.6
415-AH 12.01 440-AH 5.99 0.4
416-AH 26.98 441-AH 0.19 0.2
Difference
417-AH 20.15 442-AH 35.58 0
418-AH 31.35 443-AH 5.64 −0.2
−0.4
419-AH 13.74 444-AH 17.03
−0.6
420-AH 20.43 445-AH 74.17
−0.8
421-AH 5.27 446-AH 0.19
−1
422-AH 9.17 447-AH 47.28 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 57.31 448-AH 21.14
424-AH 26.13 449-AH 1.75
425-AH 26.24 450-AH 10.72
312
alicante 10.2415/AH-MONO-CS-CLEF2007.ALICANTE.IRNCZNEXP AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 29.60 IRNCZNEXP
10 docs 24.60 90%
15 docs 20.80
80%
20 docs 17.80
30 docs 14.20 70%
100 docs 6.30
60%
200 docs 3.81
Precision
500 docs 1.93 50%
1000 docs 1.13 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.08
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6875
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1571
Third Quartile 0.3750
Interquartile range 0.3750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2208
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2230 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6875
Mean With No Outliers 0.2208 10
Std With No Outliers 0.2230
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNCZNEXP
0.8
401-AH 54.55 426-AH 13.64 0.6
402-AH 37.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 43.18 429-AH 18.92 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 9.09
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 68.75 433-AH 15.79
−1
409-AH 0.00 434-AH 61.54 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 62.50 435-AH 10.00
411-AH 0.00 436-AH 0.00
412-AH 4.17 437-AH 50.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNCZNEXP
413-AH 0.00 438-AH 16.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 25.53 440-AH 2.38 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 25.00 442-AH 60.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 23.53
−0.6
420-AH 36.36 445-AH 60.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 15.62 447-AH 60.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 0.00
425-AH 30.00 450-AH 8.33
313
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TDN_L_BM25 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 662 Pooled true
Geometric Mean Average Precision 0.1287 lemmatized collection and queries (tool PDT) - BM25
Binary Preference (BPREF) 0.2022 retrieval model
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 52.90 UWB_TDN_L_BM25
10 45.07 90%
20 38.85
80%
30 33.67
40 28.90 70%
50 24.05
60%
60 19.70
Precision
70 15.82 50%
80 13.50 40%
90 7.33
30%
100 4.60
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
23.73 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8079
Minimum 0.0003
First Quartile 0.0558
Second Quartile 0.1853
Third Quartile 0.3641
Interquartile range 0.3084 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2373
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2132 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003 8
Upper Outlier Threshold 0.8079
6
Mean With No Outliers 0.2373
4
Std With No Outliers 0.2132
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TDN_L_BM25
0.8
401-AH 27.89 426-AH 11.05 0.6
402-AH 48.36 427-AH 21.06 0.4
403-AH 1.02 428-AH 2.71 0.2
Difference
404-AH 45.59 429-AH 18.81 0
405-AH 46.80 430-AH 5.31 −0.2
−0.4
406-AH 15.59 431-AH 15.85
−0.6
407-AH 7.74 432-AH 36.41
−0.8
408-AH 68.51 433-AH 37.15
−1
409-AH 5.35 434-AH 13.81 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 49.33 435-AH 9.96
411-AH 0.43 436-AH 3.12
412-AH 6.35 437-AH 71.15 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UWB_TDN_L_BM25
413-AH 2.21 438-AH 20.38 0.8
414-AH 12.37 439-AH 0.03 0.6
415-AH 30.12 440-AH 80.79 0.4
416-AH 26.34 441-AH 29.45 0.2
Difference
417-AH 26.51 442-AH 21.02 0
418-AH 31.35 443-AH 5.58 −0.2
−0.4
419-AH 11.93 444-AH 23.13
−0.6
420-AH 18.26 445-AH 57.67
−0.8
421-AH 53.58 446-AH 3.57
−1
422-AH 3.55 447-AH 70.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 24.52 448-AH 39.14
424-AH 3.41 449-AH 3.78
425-AH 9.26 450-AH 8.52
314
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TDN_L_BM25 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 32.40 UWB_TDN_L_BM25
10 docs 26.00 90%
15 docs 23.73
80%
20 docs 20.90
30 docs 18.73 70%
100 docs 9.12
60%
200 docs 5.27
Precision
500 docs 2.49 50%
1000 docs 1.32 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
23.45
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7619
Minimum 0.0000
First Quartile 0.0769
Second Quartile 0.2042
Third Quartile 0.4000
Interquartile range 0.3231 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2345
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2060 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7619 10
Mean With No Outliers 0.2345
Std With No Outliers 0.2060 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TDN_L_BM25
0.8
401-AH 27.27 426-AH 9.09 0.6
402-AH 42.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 50.00 429-AH 24.32 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 23.08 431-AH 13.64
−0.6
407-AH 0.00 432-AH 14.29
−0.8
408-AH 56.25 433-AH 26.32
−1
409-AH 0.00 434-AH 7.69 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.00 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 20.83 437-AH 62.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UWB_TDN_L_BM25
413-AH 0.00 438-AH 23.33 0.8
414-AH 8.33 439-AH 0.00 0.6
415-AH 38.30 440-AH 76.19 0.4
416-AH 22.22 441-AH 42.86 0.2
Difference
417-AH 42.50 442-AH 40.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 29.41
−0.6
420-AH 27.27 445-AH 60.00
−0.8
421-AH 42.86 446-AH 4.76
−1
422-AH 9.38 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 16.67 448-AH 40.00
424-AH 0.00 449-AH 10.00
425-AH 20.00 450-AH 8.33
315
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TDN_W_BM25 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 599 Pooled false
Geometric Mean Average Precision 0.0964 non-lemmatized collection and queries - BM25
Binary Preference (BPREF) 0.2142 retrieval model
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 54.85 UWB_TDN_W_BM25
10 45.17 90%
20 36.83
80%
30 32.36
40 25.82 70%
50 22.79
60%
60 17.99
Precision
70 14.41 50%
80 10.46 40%
90 5.49
30%
100 3.90
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
23.15 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9000
Minimum 0.0002
First Quartile 0.0442
Second Quartile 0.1472
Third Quartile 0.3459
Interquartile range 0.3017 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2315
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2470 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0002
Upper Outlier Threshold 0.7743 10
Mean With No Outliers 0.2048
Std With No Outliers 0.2128 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TDN_W_BM25
0.8
401-AH 21.94 426-AH 5.04 0.6
402-AH 35.33 427-AH 14.95 0.4
403-AH 1.81 428-AH 1.43 0.2
Difference
404-AH 31.64 429-AH 12.06 0
405-AH 84.80 430-AH 0.20 −0.2
−0.4
406-AH 12.57 431-AH 1.84
−0.6
407-AH 6.40 432-AH 16.87
−0.8
408-AH 63.09 433-AH 28.03
−1
409-AH 5.05 434-AH 35.26 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.85 435-AH 8.82
411-AH 0.37 436-AH 0.14
412-AH 4.42 437-AH 62.73 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UWB_TDN_W_BM25
413-AH 10.39 438-AH 16.12 0.8
414-AH 15.87 439-AH 0.02 0.6
415-AH 23.62 440-AH 72.73 0.4
416-AH 36.83 441-AH 0.97 0.2
Difference
417-AH 28.39 442-AH 13.16 0
418-AH 34.59 443-AH 7.71 −0.2
−0.4
419-AH 14.48 444-AH 19.18
−0.6
420-AH 17.34 445-AH 90.00
−0.8
421-AH 37.43 446-AH 1.89
−1
422-AH 2.74 447-AH 70.42 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 77.43 448-AH 31.83
424-AH 2.87 449-AH 2.80
425-AH 11.45 450-AH 5.76
316
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TDN_W_BM25 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 32.80 UWB_TDN_W_BM25
10 docs 25.40 90%
15 docs 22.13
80%
20 docs 19.20
30 docs 15.27 70%
100 docs 7.40
60%
200 docs 4.43
Precision
500 docs 2.15 50%
1000 docs 1.20 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.82
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8000
Minimum 0.0000
First Quartile 0.0417
Second Quartile 0.1909
Third Quartile 0.3750
Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2482
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2324 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8000 10
Mean With No Outliers 0.2482
Std With No Outliers 0.2324 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TDN_W_BM25
0.8
401-AH 18.18 426-AH 4.55 0.6
402-AH 37.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 40.91 429-AH 24.32 0
405-AH 71.43 430-AH 0.00 −0.2
−0.4
406-AH 15.38 431-AH 9.09
−0.6
407-AH 14.29 432-AH 28.57
−0.8
408-AH 68.75 433-AH 36.84
−1
409-AH 0.00 434-AH 30.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.25 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 8.33 437-AH 50.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UWB_TDN_W_BM25
413-AH 0.00 438-AH 26.67 0.8
414-AH 16.67 439-AH 0.00 0.6
415-AH 27.66 440-AH 73.81 0.4
416-AH 55.56 441-AH 0.00 0.2
Difference
417-AH 35.00 442-AH 20.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 33.33 444-AH 23.53
−0.6
420-AH 27.27 445-AH 80.00
−0.8
421-AH 42.86 446-AH 4.76
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 66.67 448-AH 50.00
424-AH 0.00 449-AH 0.00
425-AH 10.00 450-AH 4.17
317
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TD_L_BM25 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 663 Pooled true
Geometric Mean Average Precision 0.1572 lemmatized collection and queries (tool PDT) - BM25
Binary Preference (BPREF) 0.2392 retrieval model
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.45 UWB_TD_L_BM25
10 50.46 90%
20 41.77
80%
30 37.38
40 32.27 70%
50 27.89
60%
60 22.64
Precision
70 18.38 50%
80 14.39 40%
90 7.92
30%
100 5.56
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.38 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7372
Minimum 0.0016
First Quartile 0.0676
Second Quartile 0.2408
Third Quartile 0.4067
Interquartile range 0.3391 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2638
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2085 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0016
6
Upper Outlier Threshold 0.7372 5
Mean With No Outliers 0.2638 4
3
Std With No Outliers 0.2085
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TD_L_BM25
0.8
401-AH 30.57 426-AH 11.52 0.6
402-AH 30.46 427-AH 12.67 0.4
403-AH 3.08 428-AH 2.24 0.2
Difference
404-AH 55.63 429-AH 15.95 0
405-AH 42.89 430-AH 5.51 −0.2
−0.4
406-AH 14.54 431-AH 11.66
−0.6
407-AH 50.78 432-AH 38.40
−0.8
408-AH 71.35 433-AH 21.67
−1
409-AH 6.00 434-AH 29.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 61.93 435-AH 5.68
411-AH 0.23 436-AH 7.83
412-AH 3.13 437-AH 73.72 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UWB_TD_L_BM25
413-AH 3.20 438-AH 20.98 0.8
414-AH 24.11 439-AH 0.16 0.6
415-AH 32.26 440-AH 48.74 0.4
416-AH 25.31 441-AH 40.67 0.2
Difference
417-AH 34.81 442-AH 26.28 0
418-AH 32.00 443-AH 5.88 −0.2
−0.4
419-AH 15.13 444-AH 24.05
−0.6
420-AH 29.27 445-AH 52.75
−0.8
421-AH 50.81 446-AH 6.76
−1
422-AH 5.85 447-AH 60.02 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 68.92 448-AH 46.48
424-AH 3.78 449-AH 8.31
425-AH 19.04 450-AH 26.62
318
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TD_L_BM25 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 36.00 UWB_TD_L_BM25
10 docs 30.80 90%
15 docs 27.47
80%
20 docs 24.20
30 docs 19.47 70%
100 docs 8.88
60%
200 docs 5.17
Precision
500 docs 2.41 50%
1000 docs 1.33 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.91
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6875
Minimum 0.0000
First Quartile 0.1000
Second Quartile 0.2822
Third Quartile 0.4286
Interquartile range 0.3286 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2791
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2076 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.6875
6
Mean With No Outliers 0.2791
4
Std With No Outliers 0.2076
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TD_L_BM25
0.8
401-AH 36.36 426-AH 13.64 0.6
402-AH 32.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 52.27 429-AH 27.03 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 15.38 431-AH 9.09
−0.6
407-AH 57.14 432-AH 14.29
−0.8
408-AH 68.75 433-AH 26.32
−1
409-AH 0.00 434-AH 46.15 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.25 435-AH 15.00
411-AH 0.00 436-AH 8.33
412-AH 8.33 437-AH 62.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UWB_TD_L_BM25
413-AH 0.00 438-AH 30.00 0.8
414-AH 33.33 439-AH 0.00 0.6
415-AH 44.68 440-AH 54.76 0.4
416-AH 22.22 441-AH 42.86 0.2
Difference
417-AH 42.50 442-AH 40.00 0
418-AH 37.50 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 29.41
−0.6
420-AH 36.36 445-AH 60.00
−0.8
421-AH 57.14 446-AH 14.29
−1
422-AH 12.50 447-AH 60.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 40.00
424-AH 0.00 449-AH 20.00
425-AH 20.00 450-AH 33.33
319
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TD_W_RAW_FB AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 508 Pooled false
Geometric Mean Average Precision 0.0153 non-lemmatized collection and queries - raw tf.idf
Binary Preference (BPREF) 0.1069 model - blind relevance feedback
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 30.61 UWB_TD_W_RAW_FB
10 23.79 90%
20 20.11
80%
30 16.52
40 13.94 70%
50 10.86
60%
60 9.42
Precision
70 7.61 50%
80 6.56 40%
90 3.72
30%
100 3.10
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
12.05 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7087
Minimum 0.0000
First Quartile 0.0054
Second Quartile 0.0292
Third Quartile 0.1536
Interquartile range 0.1482 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1205
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1844 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.3502 20
Mean With No Outliers 0.0694 15
Std With No Outliers 0.0978 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TD_W_RAW_FB
0.8
401-AH 13.03 426-AH 0.00 0.6
402-AH 2.50 427-AH 35.02 0.4
403-AH 0.02 428-AH 0.46 0.2
Difference
404-AH 10.39 429-AH 0.61 0
405-AH 0.30 430-AH 0.04 −0.2
−0.4
406-AH 0.86 431-AH 0.02
−0.6
407-AH 0.54 432-AH 7.08
−0.8
408-AH 67.81 433-AH 0.45
−1
409-AH 15.46 434-AH 30.94 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 39.81 435-AH 3.33
411-AH 0.00 436-AH 0.00
412-AH 0.97 437-AH 70.87 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UWB_TD_W_RAW_FB
413-AH 0.93 438-AH 24.82 0.8
414-AH 23.77 439-AH 0.04 0.6
415-AH 15.36 440-AH 7.43 0.4
416-AH 34.98 441-AH 0.00 0.2
Difference
417-AH 5.47 442-AH 8.82 0
418-AH 4.03 443-AH 0.55 −0.2
−0.4
419-AH 6.20 444-AH 1.17
−0.6
420-AH 0.67 445-AH 48.75
−0.8
421-AH 19.33 446-AH 4.19
−1
422-AH 1.86 447-AH 62.99 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 10.65 448-AH 0.02
424-AH 1.18 449-AH 1.92
425-AH 1.82 450-AH 14.85
320
bohemia 10.2415/AH-MONO-CS-CLEF2007.BOHEMIA.UWB_TD_W_RAW_FB AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 14.00 UWB_TD_W_RAW_FB
10 docs 12.80 90%
15 docs 11.87
80%
20 docs 10.50
30 docs 8.67 70%
100 docs 4.14
60%
200 docs 2.99
Precision
500 docs 1.63 50%
1000 docs 1.02 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
12.18
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6250
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0114
Third Quartile 0.1915
Interquartile range 0.1915 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1218
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1789 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.4615 20
Mean With No Outliers 0.0827 15
Std With No Outliers 0.1228 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UWB_TD_W_RAW_FB
0.8
401-AH 18.18 426-AH 0.00 0.6
402-AH 5.00 427-AH 25.00 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 2.27 429-AH 0.00 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 56.25 433-AH 0.00
−1
409-AH 16.67 434-AH 46.15 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.00 435-AH 5.00
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 62.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UWB_TD_W_RAW_FB
413-AH 0.00 438-AH 36.67 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 19.15 440-AH 9.52 0.4
416-AH 22.22 441-AH 0.00 0.2
Difference
417-AH 5.00 442-AH 20.00 0
418-AH 0.00 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 0.00 445-AH 40.00
−0.8
421-AH 28.57 446-AH 9.52
−1
422-AH 3.12 447-AH 60.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 16.67 448-AH 0.00
424-AH 0.00 449-AH 10.00
425-AH 0.00 450-AH 16.67
321
daedalus 10.2415/AH-MONO-CS-CLEF2007.DAEDALUS.CSFSCS2S AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 656 Pooled true
Geometric Mean Average Precision 0.1885 Standard baseline treatment
Binary Preference (BPREF) 0.2872
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.97 CSFSCS2S
10 57.62 90%
20 50.24
80%
30 43.96
40 37.55 70%
50 33.25
60%
60 28.46
Precision
70 22.83 50%
80 19.02 40%
90 10.20
30%
100 7.01
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.03 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9250
Minimum 0.0004
First Quartile 0.1340
Second Quartile 0.2353
Third Quartile 0.4789
Interquartile range 0.3449 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3203
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2546 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0004 5
Upper Outlier Threshold 0.9250 4
Mean With No Outliers 0.3203 3
Std With No Outliers 0.2546 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries CSFSCS2S
0.8
401-AH 27.77 426-AH 13.40 0.6
402-AH 29.14 427-AH 15.76 0.4
403-AH 9.01 428-AH 9.61 0.2
Difference
404-AH 58.96 429-AH 20.80 0
405-AH 61.75 430-AH 0.24 −0.2
−0.4
406-AH 14.19 431-AH 18.75
−0.6
407-AH 61.14 432-AH 42.90
−0.8
408-AH 76.36 433-AH 22.37
−1
409-AH 11.72 434-AH 67.46 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 71.23 435-AH 3.90
411-AH 1.00 436-AH 6.29
412-AH 14.65 437-AH 83.68 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
CSFSCS2S
413-AH 8.35 438-AH 22.52 0.8
414-AH 44.95 439-AH 0.04 0.6
415-AH 34.54 440-AH 20.20 0.4
416-AH 34.25 441-AH 24.54 0.2
Difference
417-AH 32.69 442-AH 28.39 0
418-AH 83.75 443-AH 4.59 −0.2
−0.4
419-AH 44.55 444-AH 20.44
−0.6
420-AH 28.30 445-AH 92.50
−0.8
421-AH 73.48 446-AH 8.98
−1
422-AH 4.15 447-AH 47.89 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 70.91 448-AH 48.75
424-AH 15.18 449-AH 30.15
425-AH 15.71 450-AH 19.70
322
daedalus 10.2415/AH-MONO-CS-CLEF2007.DAEDALUS.CSFSCS2S AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 44.80 CSFSCS2S
10 docs 35.00 90%
15 docs 28.40
80%
20 docs 24.90
30 docs 19.20 70%
100 docs 9.10
60%
200 docs 5.24
Precision
500 docs 2.45 50%
1000 docs 1.31 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
31.96
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8000
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.2792
Third Quartile 0.5000
Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3196
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2259 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8000 5
Mean With No Outliers 0.3196 4
3
Std With No Outliers 0.2259
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries CSFSCS2S
0.8
401-AH 27.27 426-AH 27.27 0.6
402-AH 40.00 427-AH 12.50 0.4
403-AH 20.00 428-AH 16.67 0.2
Difference
404-AH 59.09 429-AH 32.43 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 7.69 431-AH 18.18
−0.6
407-AH 71.43 432-AH 57.14
−0.8
408-AH 68.75 433-AH 26.32
−1
409-AH 16.67 434-AH 61.54 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 5.00
411-AH 0.00 436-AH 8.33
412-AH 12.50 437-AH 75.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
CSFSCS2S
413-AH 0.00 438-AH 26.67 0.8
414-AH 33.33 439-AH 0.00 0.6
415-AH 42.55 440-AH 26.19 0.4
416-AH 33.33 441-AH 28.57 0.2
Difference
417-AH 32.50 442-AH 40.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 17.65
−0.6
420-AH 45.45 445-AH 80.00
−0.8
421-AH 57.14 446-AH 19.05
−1
422-AH 9.38 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 60.00
424-AH 0.00 449-AH 30.00
425-AH 20.00 450-AH 25.00
323
isi 10.2415/AH-MONO-CS-CLEF2007.ISI.CZTD AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 762 Topic Fields title, description
Relevant retrieved 540 Pooled true
Geometric Mean Average Precision 0.0416 statistical stemming Cz
Binary Preference (BPREF) 0.1087
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 35.92 CZTD
10 31.10 90%
20 22.97
80%
30 18.38
40 14.76 70%
50 10.12
60%
60 5.64
Precision
70 3.07 50%
80 1.93 40%
90 0.82
30%
100 0.39
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
11.75 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5506
Minimum 0.0011
First Quartile 0.0107
Second Quartile 0.0432
Third Quartile 0.1861
Interquartile range 0.1754 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1175
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1498 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0011 25
Upper Outlier Threshold 0.4397 20
Mean With No Outliers 0.0922 15
Std With No Outliers 0.1136 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries CZTD
0.8
401-AH 9.28 426-AH 2.09 0.6
402-AH 22.62 427-AH 22.35 0.4
403-AH 0.28 428-AH 1.07 0.2
Difference
404-AH 21.65 429-AH 3.31 0
405-AH 18.92 430-AH 0.68 −0.2
−0.4
406-AH 2.17 431-AH 4.83
−0.6
407-AH 0.43 432-AH 2.03
−0.8
408-AH 55.06 433-AH 16.03
−1
409-AH 1.63 434-AH 4.91 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 23.43 435-AH 0.65
411-AH 0.40 436-AH 1.84
412-AH 3.22 437-AH 38.18 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
CZTD
413-AH 0.98 438-AH 10.01 0.8
414-AH 3.80 439-AH 0.11 0.6
415-AH 12.28 440-AH 41.59 0.4
416-AH 14.85 441-AH 1.24 0.2
Difference
417-AH 12.19 442-AH 3.75 0
418-AH 48.99 443-AH 0.41 −0.2
−0.4
419-AH 18.19 444-AH 7.23
−0.6
420-AH 3.28 445-AH 50.34
−0.8
421-AH 43.97 446-AH 0.44
−1
422-AH 0.32 447-AH 22.84 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 18.61 448-AH 5.02
424-AH 0.38 449-AH 0.58
425-AH 2.37 450-AH 6.88
324
isi 10.2415/AH-MONO-CS-CLEF2007.ISI.CZTD AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 18.80 CZTD
10 docs 14.40 90%
15 docs 13.07
80%
20 docs 11.40
30 docs 9.47 70%
100 docs 5.10
60%
200 docs 3.35
Precision
500 docs 1.82 50%
1000 docs 1.08 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
13.82
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5625
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0833
Third Quartile 0.2500
Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1382
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1640 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5625
15
Mean With No Outliers 0.1382
10
Std With No Outliers 0.1640
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries CZTD
0.8
401-AH 27.27 426-AH 0.00 0.6
402-AH 25.00 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 31.82 429-AH 5.41 0
405-AH 28.57 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 13.64
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 56.25 433-AH 26.32
−1
409-AH 0.00 434-AH 7.69 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 25.00 435-AH 5.00
411-AH 0.00 436-AH 0.00
412-AH 8.33 437-AH 50.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
CZTD
413-AH 0.00 438-AH 10.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 21.28 440-AH 45.24 0.4
416-AH 11.11 441-AH 0.00 0.2
Difference
417-AH 22.50 442-AH 0.00 0
418-AH 50.00 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 17.65
−0.6
420-AH 9.09 445-AH 40.00
−0.8
421-AH 42.86 446-AH 0.00
−1
422-AH 0.00 447-AH 30.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 16.67 448-AH 10.00
424-AH 0.00 449-AH 0.00
425-AH 0.00 450-AH 8.33
325
isi 10.2415/AH-MONO-CS-CLEF2007.ISI.ISICL AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 442 Pooled true
Geometric Mean Average Precision 0.0271 downloaded light stemmer for Czech
Binary Preference (BPREF) 0.0876
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 33.22 ISICL
10 26.70 90%
20 18.65
80%
30 15.07
40 10.93 70%
50 7.59
60%
60 4.48
Precision
70 2.57 50%
80 1.93 40%
90 0.81
30%
100 0.59
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
9.85 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5356
Minimum 0.0000
First Quartile 0.0096
Second Quartile 0.0307
Third Quartile 0.1794
Interquartile range 0.1698 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0985
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1363 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.4207 20
Mean With No Outliers 0.0734 15
Std With No Outliers 0.0948 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ISICL
0.8
401-AH 8.21 426-AH 2.04 0.6
402-AH 17.94 427-AH 11.08 0.4
403-AH 2.99 428-AH 2.31 0.2
Difference
404-AH 10.42 429-AH 1.04 0
405-AH 42.07 430-AH 0.00 −0.2
−0.4
406-AH 2.16 431-AH 0.77
−0.6
407-AH 0.11 432-AH 3.60
−0.8
408-AH 53.56 433-AH 6.82
−1
409-AH 8.82 434-AH 8.09 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 22.68 435-AH 1.21
411-AH 1.19 436-AH 0.08
412-AH 1.87 437-AH 22.36 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ISICL
413-AH 1.92 438-AH 7.36 0.8
414-AH 19.79 439-AH 0.05 0.6
415-AH 3.16 440-AH 27.68 0.4
416-AH 23.98 441-AH 0.09 0.2
Difference
417-AH 5.09 442-AH 1.67 0
418-AH 18.13 443-AH 0.25 −0.2
−0.4
419-AH 2.35 444-AH 4.00
−0.6
420-AH 0.96 445-AH 49.47
−0.8
421-AH 19.54 446-AH 0.62
−1
422-AH 0.41 447-AH 44.28 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.80 448-AH 2.74
424-AH 0.35 449-AH 0.50
425-AH 0.39 450-AH 5.51
326
isi 10.2415/AH-MONO-CS-CLEF2007.ISI.ISICL AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 16.40 ISICL
10 docs 12.40 90%
15 docs 11.07
80%
20 docs 9.20
30 docs 7.73 70%
100 docs 4.26
60%
200 docs 2.79
Precision
500 docs 1.50 50%
1000 docs 0.88 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
11.12
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5625
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0520
Third Quartile 0.1667
Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1112
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1415 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4000
15
Mean With No Outliers 0.0952
10
Std With No Outliers 0.1189
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ISICL
0.8
401-AH 9.09 426-AH 4.55 0.6
402-AH 17.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 15.91 429-AH 5.41 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 4.55
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 56.25 433-AH 10.53
−1
409-AH 16.67 434-AH 23.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 31.25 435-AH 5.00
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 37.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ISICL
413-AH 0.00 438-AH 10.00 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 6.38 440-AH 30.95 0.4
416-AH 11.11 441-AH 0.00 0.2
Difference
417-AH 12.50 442-AH 0.00 0
418-AH 12.50 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 11.76
−0.6
420-AH 0.00 445-AH 40.00
−0.8
421-AH 28.57 446-AH 0.00
−1
422-AH 3.12 447-AH 30.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 33.33 448-AH 0.00
424-AH 0.00 449-AH 0.00
425-AH 0.00 450-AH 8.33
327
isi 10.2415/AH-MONO-CS-CLEF2007.ISI.ISICZNS AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 442 Pooled false
Geometric Mean Average Precision 0.0271 Cz no stem run
Binary Preference (BPREF) 0.0876
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 33.22 ISICZNS
10 26.70 90%
20 18.65
80%
30 15.07
40 10.93 70%
50 7.59
60%
60 4.48
Precision
70 2.57 50%
80 1.93 40%
90 0.81
30%
100 0.59
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
9.85 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5356
Minimum 0.0000
First Quartile 0.0096
Second Quartile 0.0307
Third Quartile 0.1794
Interquartile range 0.1698 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0985
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1363 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.4207 20
Mean With No Outliers 0.0734 15
Std With No Outliers 0.0948 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ISICZNS
0.8
401-AH 8.21 426-AH 2.04 0.6
402-AH 17.94 427-AH 11.08 0.4
403-AH 2.99 428-AH 2.31 0.2
Difference
404-AH 10.42 429-AH 1.04 0
405-AH 42.07 430-AH 0.00 −0.2
−0.4
406-AH 2.16 431-AH 0.77
−0.6
407-AH 0.11 432-AH 3.60
−0.8
408-AH 53.56 433-AH 6.82
−1
409-AH 8.82 434-AH 8.09 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 22.68 435-AH 1.21
411-AH 1.19 436-AH 0.08
412-AH 1.87 437-AH 22.36 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ISICZNS
413-AH 1.92 438-AH 7.36 0.8
414-AH 19.79 439-AH 0.05 0.6
415-AH 3.16 440-AH 27.68 0.4
416-AH 23.98 441-AH 0.09 0.2
Difference
417-AH 5.09 442-AH 1.67 0
418-AH 18.13 443-AH 0.25 −0.2
−0.4
419-AH 2.35 444-AH 4.00
−0.6
420-AH 0.96 445-AH 49.47
−0.8
421-AH 19.54 446-AH 0.62
−1
422-AH 0.41 447-AH 44.28 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.80 448-AH 2.74
424-AH 0.35 449-AH 0.50
425-AH 0.39 450-AH 5.51
328
isi 10.2415/AH-MONO-CS-CLEF2007.ISI.ISICZNS AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 16.40 ISICZNS
10 docs 12.40 90%
15 docs 11.07
80%
20 docs 9.20
30 docs 7.73 70%
100 docs 4.26
60%
200 docs 2.79
Precision
500 docs 1.50 50%
1000 docs 0.88 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
11.12
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5625
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0520
Third Quartile 0.1667
Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1112
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1415 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4000
15
Mean With No Outliers 0.0952
10
Std With No Outliers 0.1189
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ISICZNS
0.8
401-AH 9.09 426-AH 4.55 0.6
402-AH 17.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 15.91 429-AH 5.41 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 4.55
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 56.25 433-AH 10.53
−1
409-AH 16.67 434-AH 23.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 31.25 435-AH 5.00
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 37.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ISICZNS
413-AH 0.00 438-AH 10.00 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 6.38 440-AH 30.95 0.4
416-AH 11.11 441-AH 0.00 0.2
Difference
417-AH 12.50 442-AH 0.00 0
418-AH 12.50 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 11.76
−0.6
420-AH 0.00 445-AH 40.00
−0.8
421-AH 28.57 446-AH 0.00
−1
422-AH 3.12 447-AH 30.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 33.33 448-AH 0.00
424-AH 0.00 449-AH 0.00
425-AH 0.00 450-AH 8.33
329
jhu-apl 10.2415/AH-MONO-CS-CLEF2007.JHU-APL.APLMOCSTD4 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 679 Pooled false
Geometric Mean Average Precision 0.1602 4-grams
Binary Preference (BPREF) 0.3282
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.34 APLMOCSTD4
10 55.50 90%
20 50.74
80%
30 46.11
40 41.07 70%
50 38.58
60%
60 32.06
Precision
70 28.32 50%
80 25.42 40%
90 21.13
30%
100 17.32
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
35.86 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0003
First Quartile 0.1293
Second Quartile 0.2805
Third Quartile 0.5803
Interquartile range 0.4510 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3586
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2976 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.3586
Std With No Outliers 0.2976 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOCSTD4
0.8
401-AH 29.12 426-AH 21.17 0.6
402-AH 30.46 427-AH 16.72 0.4
403-AH 0.63 428-AH 3.05 0.2
Difference
404-AH 55.97 429-AH 15.63 0
405-AH 66.33 430-AH 0.09 −0.2
−0.4
406-AH 17.47 431-AH 58.03
−0.6
407-AH 68.34 432-AH 62.00
−0.8
408-AH 79.83 433-AH 41.55
−1
409-AH 4.88 434-AH 100.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 92.81 435-AH 13.89
411-AH 0.83 436-AH 0.03
412-AH 12.93 437-AH 91.84 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOCSTD4
413-AH 54.55 438-AH 11.39 0.8
414-AH 0.71 439-AH 0.17 0.6
415-AH 38.23 440-AH 19.87 0.4
416-AH 22.57 441-AH 100.00 0.2
Difference
417-AH 56.25 442-AH 64.14 0
418-AH 53.69 443-AH 2.94 −0.2
−0.4
419-AH 27.49 444-AH 23.95
−0.6
420-AH 22.23 445-AH 78.62
−0.8
421-AH 65.04 446-AH 3.02
−1
422-AH 2.62 447-AH 44.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 73.71 448-AH 28.62
424-AH 27.18 449-AH 17.03
425-AH 31.98 450-AH 38.79
330
jhu-apl 10.2415/AH-MONO-CS-CLEF2007.JHU-APL.APLMOCSTD4 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 40.80 APLMOCSTD4
10 docs 35.20 90%
15 docs 29.87
80%
20 docs 26.10
30 docs 21.60 70%
100 docs 9.84
60%
200 docs 5.68
Precision
500 docs 2.55 50%
1000 docs 1.36 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.67
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1176
Second Quartile 0.3000
Third Quartile 0.5000
Interquartile range 0.3824 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3467
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2814 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 1.0000
6
Mean With No Outliers 0.3467
4
Std With No Outliers 0.2814
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOCSTD4
0.8
401-AH 27.27 426-AH 36.36 0.6
402-AH 27.50 427-AH 25.00 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 56.82 429-AH 24.32 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 15.38 431-AH 54.55
−0.6
407-AH 57.14 432-AH 42.86
−0.8
408-AH 81.25 433-AH 42.11
−1
409-AH 0.00 434-AH 100.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 87.50 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 12.50 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOCSTD4
413-AH 50.00 438-AH 13.33 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 44.68 440-AH 23.81 0.4
416-AH 11.11 441-AH 100.00 0.2
Difference
417-AH 50.00 442-AH 60.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 11.76
−0.6
420-AH 36.36 445-AH 80.00
−0.8
421-AH 57.14 446-AH 4.76
−1
422-AH 6.25 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 30.00
425-AH 30.00 450-AH 37.50
331
jhu-apl 10.2415/AH-MONO-CS-CLEF2007.JHU-APL.APLMOCSTD5 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 662 Pooled true
Geometric Mean Average Precision 0.1477 5-grams
Binary Preference (BPREF) 0.3200
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 55.66 APLMOCSTD5
10 53.15 90%
20 49.69
80%
30 46.04
40 41.68 70%
50 39.74
60%
60 32.11
Precision
70 27.15 50%
80 23.75 40%
90 19.94
30%
100 15.74
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
35.07 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9897
Minimum 0.0003
First Quartile 0.0728
Second Quartile 0.2461
Third Quartile 0.5881
Interquartile range 0.5153 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3507
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3051 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003
Upper Outlier Threshold 0.9897 10
Mean With No Outliers 0.3507
Std With No Outliers 0.3051 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOCSTD5
0.8
401-AH 30.49 426-AH 17.74 0.6
402-AH 27.93 427-AH 20.81 0.4
403-AH 0.64 428-AH 2.24 0.2
Difference
404-AH 58.81 429-AH 14.18 0
405-AH 76.47 430-AH 0.03 −0.2
−0.4
406-AH 18.19 431-AH 53.88
−0.6
407-AH 89.63 432-AH 49.62
−0.8
408-AH 87.83 433-AH 46.29
−1
409-AH 3.41 434-AH 98.97 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 89.48 435-AH 6.70
411-AH 1.56 436-AH 0.03
412-AH 7.51 437-AH 83.51 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOCSTD5
413-AH 56.67 438-AH 15.97 0.8
414-AH 3.99 439-AH 0.08 0.6
415-AH 38.76 440-AH 14.52 0.4
416-AH 22.58 441-AH 94.81 0.2
Difference
417-AH 36.57 442-AH 62.28 0
418-AH 57.02 443-AH 4.74 −0.2
−0.4
419-AH 26.72 444-AH 12.65
−0.6
420-AH 23.92 445-AH 72.95
−0.8
421-AH 65.77 446-AH 2.94
−1
422-AH 0.57 447-AH 49.58 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 68.33 448-AH 25.30
424-AH 23.78 449-AH 7.28
425-AH 19.87 450-AH 59.91
332
jhu-apl 10.2415/AH-MONO-CS-CLEF2007.JHU-APL.APLMOCSTD5 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 38.80 APLMOCSTD5
10 docs 33.80 90%
15 docs 30.00
80%
20 docs 25.50
30 docs 20.40 70%
100 docs 9.40
60%
200 docs 5.55
Precision
500 docs 2.49 50%
1000 docs 1.32 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.20
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.1176
Second Quartile 0.3125
Third Quartile 0.5455
Interquartile range 0.4278 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3420
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2673 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.9231
6
Mean With No Outliers 0.3420
4
Std With No Outliers 0.2673
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOCSTD5
0.8
401-AH 36.36 426-AH 27.27 0.6
402-AH 32.50 427-AH 25.00 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 54.55 429-AH 21.62 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 23.08 431-AH 50.00
−0.6
407-AH 85.71 432-AH 42.86
−0.8
408-AH 81.25 433-AH 42.11
−1
409-AH 0.00 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.25 435-AH 5.00
411-AH 0.00 436-AH 0.00
412-AH 12.50 437-AH 62.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOCSTD5
413-AH 50.00 438-AH 16.67 0.8
414-AH 16.67 439-AH 0.00 0.6
415-AH 44.68 440-AH 19.05 0.4
416-AH 11.11 441-AH 85.71 0.2
Difference
417-AH 37.50 442-AH 60.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 11.76
−0.6
420-AH 45.45 445-AH 60.00
−0.8
421-AH 57.14 446-AH 4.76
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 20.00
425-AH 20.00 450-AH 62.50
333
jhu-apl 10.2415/AH-MONO-CS-CLEF2007.JHU-APL.APLMOCSTDN4 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 662 Pooled true
Geometric Mean Average Precision 0.1125 4-grams
Binary Preference (BPREF) 0.2923
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.97 APLMOCSTDN4
10 52.32 90%
20 44.06
80%
30 41.79
40 38.88 70%
50 34.76
60%
60 29.51
Precision
70 25.85 50%
80 23.04 40%
90 19.75
30%
100 15.14
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.87 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9945
Minimum 0.0000
First Quartile 0.0607
Second Quartile 0.2378
Third Quartile 0.5507
Interquartile range 0.4900 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3287
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3016 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9945 10
Mean With No Outliers 0.3287
Std With No Outliers 0.3016 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOCSTDN4
0.8
401-AH 20.47 426-AH 19.39 0.6
402-AH 40.89 427-AH 24.05 0.4
403-AH 1.45 428-AH 1.12 0.2
Difference
404-AH 50.52 429-AH 23.52 0
405-AH 84.25 430-AH 0.40 −0.2
−0.4
406-AH 18.77 431-AH 77.42
−0.6
407-AH 13.12 432-AH 64.14
−0.8
408-AH 71.50 433-AH 66.78
−1
409-AH 2.43 434-AH 99.45 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 91.17 435-AH 15.86
411-AH 0.31 436-AH 0.00
412-AH 5.95 437-AH 87.52 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOCSTDN4
413-AH 26.67 438-AH 6.46 0.8
414-AH 0.41 439-AH 0.00 0.6
415-AH 33.97 440-AH 88.30 0.4
416-AH 24.32 441-AH 37.71 0.2
Difference
417-AH 62.80 442-AH 55.07 0
418-AH 59.11 443-AH 6.07 −0.2
−0.4
419-AH 15.08 444-AH 26.47
−0.6
420-AH 16.31 445-AH 87.67
−0.8
421-AH 52.05 446-AH 1.24
−1
422-AH 0.84 447-AH 45.74 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 37.91 448-AH 28.77
424-AH 22.48 449-AH 3.47
425-AH 11.87 450-AH 12.41
334
jhu-apl 10.2415/AH-MONO-CS-CLEF2007.JHU-APL.APLMOCSTDN4 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 38.40 APLMOCSTDN4
10 docs 31.80 90%
15 docs 28.27
80%
20 docs 25.40
30 docs 21.20 70%
100 docs 9.82
60%
200 docs 5.63
Precision
500 docs 2.50 50%
1000 docs 1.32 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
31.33
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2792
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3133
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2768 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9231 10
Mean With No Outliers 0.3133
Std With No Outliers 0.2768 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOCSTDN4
0.8
401-AH 27.27 426-AH 27.27 0.6
402-AH 37.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 45.45 429-AH 32.43 0
405-AH 71.43 430-AH 0.00 −0.2
−0.4
406-AH 15.38 431-AH 68.18
−0.6
407-AH 28.57 432-AH 42.86
−0.8
408-AH 68.75 433-AH 63.16
−1
409-AH 0.00 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.25 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 12.50 437-AH 75.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOCSTDN4
413-AH 50.00 438-AH 10.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 42.55 440-AH 76.19 0.4
416-AH 0.00 441-AH 42.86 0.2
Difference
417-AH 55.00 442-AH 60.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 29.41
−0.6
420-AH 27.27 445-AH 80.00
−0.8
421-AH 42.86 446-AH 0.00
−1
422-AH 6.25 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 33.33 448-AH 30.00
424-AH 25.00 449-AH 0.00
425-AH 10.00 450-AH 16.67
335
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07T AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title
Relevant retrieved 639 Pooled true
Geometric Mean Average Precision 0.1443 Title-only, dropped accents, fusion of 4-grams and
Binary Preference (BPREF) 0.2782 UniNE stemmer
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 65.11 OTCS07T
10 55.31 90%
20 52.10
80%
30 43.47
40 35.95 70%
50 31.19
60%
60 25.81
Precision
70 22.09 50%
80 18.79 40%
90 11.88
30%
100 8.77
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
31.51 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8242
Minimum 0.0000
First Quartile 0.1067
Second Quartile 0.3048
Third Quartile 0.4731
Interquartile range 0.3664 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3151
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2459 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8242 10
Mean With No Outliers 0.3151
Std With No Outliers 0.2459 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07T
0.8
401-AH 11.09 426-AH 10.67 0.6
402-AH 20.73 427-AH 21.84 0.4
403-AH 0.31 428-AH 1.26 0.2
Difference
404-AH 49.64 429-AH 3.72 0
405-AH 50.36 430-AH 0.00 −0.2
−0.4
406-AH 23.07 431-AH 47.31
−0.6
407-AH 63.07 432-AH 52.40
−0.8
408-AH 81.02 433-AH 34.17
−1
409-AH 0.47 434-AH 78.25 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.62 435-AH 6.14
411-AH 0.63 436-AH 1.68
412-AH 13.01 437-AH 38.94 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTCS07T
413-AH 30.00 438-AH 16.31 0.8
414-AH 42.48 439-AH 4.70 0.6
415-AH 15.39 440-AH 43.22 0.4
416-AH 20.22 441-AH 44.41 0.2
Difference
417-AH 36.74 442-AH 42.40 0
418-AH 73.84 443-AH 28.79 −0.2
−0.4
419-AH 43.33 444-AH 22.06
−0.6
420-AH 30.95 445-AH 82.42
−0.8
421-AH 55.68 446-AH 4.19
−1
422-AH 1.70 447-AH 54.95 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 71.02 448-AH 41.47
424-AH 36.49 449-AH 36.70
425-AH 1.08 450-AH 12.38
336
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07T AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 39.60 OTCS07T
10 docs 29.80 90%
15 docs 26.53
80%
20 docs 24.10
30 docs 19.27 70%
100 docs 8.64
60%
200 docs 5.02
Precision
500 docs 2.40 50%
1000 docs 1.28 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
29.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7692
Minimum 0.0000
First Quartile 0.1000
Second Quartile 0.3000
Third Quartile 0.5000
Interquartile range 0.4000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2972
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2116 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.7692 5
Mean With No Outliers 0.2972 4
3
Std With No Outliers 0.2116
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07T
0.8
401-AH 9.09 426-AH 18.18 0.6
402-AH 30.00 427-AH 25.00 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 56.82 429-AH 10.81 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 30.77 431-AH 50.00
−0.6
407-AH 57.14 432-AH 42.86
−0.8
408-AH 75.00 433-AH 31.58
−1
409-AH 0.00 434-AH 76.92 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.25 435-AH 10.00
411-AH 0.00 436-AH 0.00
412-AH 16.67 437-AH 50.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTCS07T
413-AH 50.00 438-AH 23.33 0.8
414-AH 33.33 439-AH 9.09 0.6
415-AH 23.40 440-AH 50.00 0.4
416-AH 11.11 441-AH 42.86 0.2
Difference
417-AH 42.50 442-AH 40.00 0
418-AH 50.00 443-AH 20.00 −0.2
−0.4
419-AH 33.33 444-AH 17.65
−0.6
420-AH 36.36 445-AH 60.00
−0.8
421-AH 57.14 446-AH 9.52
−1
422-AH 3.12 447-AH 40.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 30.00
425-AH 0.00 450-AH 8.33
337
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07TD AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 679 Pooled true
Geometric Mean Average Precision 0.1974 dropped accents, fusion of 4-grams and UniNE
Binary Preference (BPREF) 0.2933 stemmer
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.44 OTCS07TD
10 55.75 90%
20 49.17
80%
30 42.88
40 37.35 70%
50 33.88
60%
60 30.18
Precision
70 26.22 50%
80 21.57 40%
90 12.02
30%
100 8.72
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.67 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8472
Minimum 0.0019
First Quartile 0.1002
Second Quartile 0.2769
Third Quartile 0.5502
Interquartile range 0.4500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3267
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2581 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0019
6
Upper Outlier Threshold 0.8472 5
Mean With No Outliers 0.3267 4
3
Std With No Outliers 0.2581
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07TD
0.8
401-AH 23.46 426-AH 11.78 0.6
402-AH 27.56 427-AH 16.33 0.4
403-AH 3.68 428-AH 5.28 0.2
Difference
404-AH 55.64 429-AH 18.94 0
405-AH 64.41 430-AH 2.95 −0.2
−0.4
406-AH 26.99 431-AH 46.05
−0.6
407-AH 59.30 432-AH 55.14
−0.8
408-AH 76.21 433-AH 29.94
−1
409-AH 3.53 434-AH 79.16 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.51 435-AH 10.02
411-AH 1.08 436-AH 2.71
412-AH 7.19 437-AH 84.72 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTCS07TD
413-AH 30.56 438-AH 21.89 0.8
414-AH 16.88 439-AH 0.19 0.6
415-AH 33.10 440-AH 55.02 0.4
416-AH 20.73 441-AH 35.49 0.2
Difference
417-AH 53.88 442-AH 25.89 0
418-AH 77.25 443-AH 4.38 −0.2
−0.4
419-AH 29.32 444-AH 29.25
−0.6
420-AH 29.86 445-AH 84.55
−0.8
421-AH 63.63 446-AH 6.33
−1
422-AH 4.05 447-AH 46.88 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 73.89 448-AH 31.70
424-AH 8.83 449-AH 27.83
425-AH 21.45 450-AH 11.94
338
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07TD AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 40.40 OTCS07TD
10 docs 33.80 90%
15 docs 28.80
80%
20 docs 25.50
30 docs 21.20 70%
100 docs 9.60
60%
200 docs 5.61
Precision
500 docs 2.60 50%
1000 docs 1.36 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.88
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8000
Minimum 0.0000
First Quartile 0.1250
Second Quartile 0.3000
Third Quartile 0.5000
Interquartile range 0.3750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3288
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2460 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8000
6
Mean With No Outliers 0.3288
4
Std With No Outliers 0.2460
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07TD
0.8
401-AH 36.36 426-AH 18.18 0.6
402-AH 32.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 16.67 0.2
Difference
404-AH 54.55 429-AH 24.32 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 38.46 431-AH 40.91
−0.6
407-AH 57.14 432-AH 42.86
−0.8
408-AH 75.00 433-AH 26.32
−1
409-AH 0.00 434-AH 76.92 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.00 435-AH 20.00
411-AH 0.00 436-AH 0.00
412-AH 12.50 437-AH 75.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTCS07TD
413-AH 50.00 438-AH 30.00 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 38.30 440-AH 66.67 0.4
416-AH 11.11 441-AH 28.57 0.2
Difference
417-AH 52.50 442-AH 20.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 29.41
−0.6
420-AH 45.45 445-AH 80.00
−0.8
421-AH 71.43 446-AH 9.52
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 66.67 448-AH 30.00
424-AH 0.00 449-AH 20.00
425-AH 30.00 450-AH 12.50
339
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07TDE AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 687 Pooled false
Geometric Mean Average Precision 0.1913 blind feedback run (50% weight on first 3 rows of
Binary Preference (BPREF) 0.3099 otCS07td)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 64.70 OTCS07TDE
10 54.36 90%
20 49.61
80%
30 43.49
40 39.43 70%
50 36.98
60%
60 31.83
Precision
70 28.75 50%
80 24.41 40%
90 17.19
30%
100 12.99
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.84 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0008
First Quartile 0.0926
Second Quartile 0.2480
Third Quartile 0.6002
Interquartile range 0.5077 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3484
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2882 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0008
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3484 4
3
Std With No Outliers 0.2882
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07TDE
0.8
401-AH 34.38 426-AH 8.71 0.6
402-AH 36.63 427-AH 19.36 0.4
403-AH 3.81 428-AH 1.48 0.2
Difference
404-AH 60.02 429-AH 24.23 0
405-AH 65.35 430-AH 1.34 −0.2
−0.4
406-AH 25.36 431-AH 73.72
−0.6
407-AH 56.28 432-AH 58.46
−0.8
408-AH 71.12 433-AH 82.46
−1
409-AH 9.45 434-AH 79.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.20 435-AH 5.16
411-AH 3.89 436-AH 1.42
412-AH 6.29 437-AH 94.64 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTCS07TDE
413-AH 18.99 438-AH 19.06 0.8
414-AH 10.72 439-AH 0.08 0.6
415-AH 39.17 440-AH 65.94 0.4
416-AH 22.94 441-AH 20.68 0.2
Difference
417-AH 56.54 442-AH 17.23 0
418-AH 75.92 443-AH 2.00 −0.2
−0.4
419-AH 28.24 444-AH 34.51
−0.6
420-AH 28.59 445-AH 100.00
−0.8
421-AH 64.01 446-AH 9.26
−1
422-AH 4.02 447-AH 48.41 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 65.38 448-AH 42.72
424-AH 6.42 449-AH 20.71
425-AH 22.56 450-AH 14.95
340
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07TDE AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 38.80 OTCS07TDE
10 docs 35.60 90%
15 docs 32.27
80%
20 docs 27.80
30 docs 22.60 70%
100 docs 9.74
60%
200 docs 5.79
Precision
500 docs 2.66 50%
1000 docs 1.37 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.03
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0833
Second Quartile 0.3122
Third Quartile 0.5500
Interquartile range 0.4667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3303
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2844 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.3303
Std With No Outliers 0.2844 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07TDE
0.8
401-AH 27.27 426-AH 9.09 0.6
402-AH 32.50 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 54.55 429-AH 32.43 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 38.46 431-AH 68.18
−0.6
407-AH 71.43 432-AH 57.14
−0.8
408-AH 68.75 433-AH 78.95
−1
409-AH 0.00 434-AH 76.92 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 10.00
411-AH 0.00 436-AH 0.00
412-AH 8.33 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTCS07TDE
413-AH 0.00 438-AH 20.00 0.8
414-AH 8.33 439-AH 0.00 0.6
415-AH 44.68 440-AH 71.43 0.4
416-AH 11.11 441-AH 14.29 0.2
Difference
417-AH 55.00 442-AH 20.00 0
418-AH 50.00 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 35.29
−0.6
420-AH 36.36 445-AH 100.00
−0.8
421-AH 71.43 446-AH 19.05
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 40.00
424-AH 0.00 449-AH 20.00
425-AH 30.00 450-AH 8.33
341
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07TDNZ AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 701 Pooled true
Geometric Mean Average Precision 0.1532 depth-10000 sampling run (orig ranks in first 5
Binary Preference (BPREF) 0.2529 decimal places of rsv)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.76 OTCS07TDNZ
10 56.39 90%
20 47.17
80%
30 37.92
40 31.77 70%
50 25.38
60%
60 19.24
Precision
70 15.16 50%
80 11.95 40%
90 6.64
30%
100 4.56
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.60 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9111
Minimum 0.0022
First Quartile 0.0921
Second Quartile 0.2086
Third Quartile 0.4159
Interquartile range 0.3238 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2660
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2307 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0022 8
Upper Outlier Threshold 0.8244
6
Mean With No Outliers 0.2528
4
Std With No Outliers 0.2133
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07TDNZ
0.8
401-AH 21.55 426-AH 10.35 0.6
402-AH 27.18 427-AH 10.23 0.4
403-AH 2.33 428-AH 1.75 0.2
Difference
404-AH 35.59 429-AH 15.19 0
405-AH 59.41 430-AH 0.56 −0.2
−0.4
406-AH 19.74 431-AH 52.95
−0.6
407-AH 25.13 432-AH 49.14
−0.8
408-AH 49.48 433-AH 41.01
−1
409-AH 2.24 434-AH 70.33 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 54.20 435-AH 10.03
411-AH 0.94 436-AH 4.61
412-AH 14.21 437-AH 82.44 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTCS07TDNZ
413-AH 25.83 438-AH 15.05 0.8
414-AH 12.86 439-AH 0.22 0.6
415-AH 20.71 440-AH 41.59 0.4
416-AH 8.14 441-AH 18.47 0.2
Difference
417-AH 42.12 442-AH 18.63 0
418-AH 64.09 443-AH 3.47 −0.2
−0.4
419-AH 25.88 444-AH 21.01
−0.6
420-AH 23.36 445-AH 91.11
−0.8
421-AH 63.36 446-AH 4.81
−1
422-AH 4.26 447-AH 22.80 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 61.31 448-AH 21.08
424-AH 9.21 449-AH 21.73
425-AH 20.12 450-AH 8.11
342
opentext 10.2415/AH-MONO-CS-CLEF2007.OPENTEXT.OTCS07TDNZ AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 44.00 OTCS07TDNZ
10 docs 36.20 90%
15 docs 27.20
80%
20 docs 20.50
30 docs 13.93 70%
100 docs 5.02
60%
200 docs 5.72
Precision
500 docs 2.68 50%
1000 docs 1.40 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
28.12
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8000
Minimum 0.0000
First Quartile 0.1111
Second Quartile 0.2500
Third Quartile 0.4286
Interquartile range 0.3175 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2812
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2211 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8000 10
Mean With No Outliers 0.2812
Std With No Outliers 0.2211 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTCS07TDNZ
0.8
401-AH 36.36 426-AH 13.64 0.6
402-AH 25.00 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 25.00 429-AH 16.22 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 30.77 431-AH 45.45
−0.6
407-AH 28.57 432-AH 42.86
−0.8
408-AH 56.25 433-AH 42.11
−1
409-AH 0.00 434-AH 69.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.00 435-AH 20.00
411-AH 0.00 436-AH 8.33
412-AH 16.67 437-AH 75.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTCS07TDNZ
413-AH 50.00 438-AH 16.67 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 19.15 440-AH 30.95 0.4
416-AH 11.11 441-AH 28.57 0.2
Difference
417-AH 35.00 442-AH 20.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 33.33 444-AH 23.53
−0.6
420-AH 45.45 445-AH 80.00
−0.8
421-AH 71.43 446-AH 4.76
−1
422-AH 3.12 447-AH 40.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 0.00 449-AH 20.00
425-AH 30.00 450-AH 4.17
343
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE01 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 672 Pooled true
Geometric Mean Average Precision 0.1528 mandatory experiment
Binary Preference (BPREF) 0.2977
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 62.79 PRAGUE01
10 57.33 90%
20 51.30
80%
30 44.51
40 39.83 70%
50 35.79
60%
60 30.26
Precision
70 26.78 50%
80 21.39 40%
90 14.48
30%
100 11.47
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.19 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9617
Minimum 0.0000
First Quartile 0.0945
Second Quartile 0.2943
Third Quartile 0.5730
Interquartile range 0.4785 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3419
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2820 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.9617
6
Mean With No Outliers 0.3419
4
Std With No Outliers 0.2820
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE01
0.8
401-AH 44.28 426-AH 12.31 0.6
402-AH 36.21 427-AH 25.88 0.4
403-AH 3.63 428-AH 0.33 0.2
Difference
404-AH 59.44 429-AH 32.01 0
405-AH 64.86 430-AH 0.54 −0.2
−0.4
406-AH 19.81 431-AH 2.70
−0.6
407-AH 96.17 432-AH 46.60
−0.8
408-AH 84.19 433-AH 42.55
−1
409-AH 15.51 434-AH 79.05 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.06 435-AH 6.75
411-AH 0.00 436-AH 0.91
412-AH 9.45 437-AH 83.45 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE01
413-AH 9.67 438-AH 25.60 0.8
414-AH 57.30 439-AH 0.15 0.6
415-AH 34.18 440-AH 26.86 0.4
416-AH 33.67 441-AH 17.71 0.2
Difference
417-AH 45.39 442-AH 38.55 0
418-AH 68.88 443-AH 7.29 −0.2
−0.4
419-AH 17.78 444-AH 25.51
−0.6
420-AH 40.19 445-AH 92.67
−0.8
421-AH 69.77 446-AH 4.46
−1
422-AH 1.99 447-AH 64.49 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 60.66 448-AH 50.90
424-AH 10.51 449-AH 17.35
425-AH 7.45 450-AH 33.62
344
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE01 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 40.40 PRAGUE01
10 docs 36.00 90%
15 docs 30.40
80%
20 docs 26.40
30 docs 21.07 70%
100 docs 9.64
60%
200 docs 5.52
Precision
500 docs 2.52 50%
1000 docs 1.34 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.01
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8571
Minimum 0.0000
First Quartile 0.0625
Second Quartile 0.3333
Third Quartile 0.5000
Interquartile range 0.4375 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3201
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2544 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8571 10
Mean With No Outliers 0.3201
Std With No Outliers 0.2544 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE01
0.8
401-AH 45.45 426-AH 13.64 0.6
402-AH 35.00 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 56.82 429-AH 37.84 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 30.77 431-AH 4.55
−0.6
407-AH 85.71 432-AH 42.86
−0.8
408-AH 75.00 433-AH 42.11
−1
409-AH 16.67 434-AH 69.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 20.00
411-AH 0.00 436-AH 0.00
412-AH 4.17 437-AH 75.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE01
413-AH 0.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 38.30 440-AH 35.71 0.4
416-AH 33.33 441-AH 28.57 0.2
Difference
417-AH 45.00 442-AH 40.00 0
418-AH 50.00 443-AH 10.00 −0.2
−0.4
419-AH 0.00 444-AH 23.53
−0.6
420-AH 54.55 445-AH 80.00
−0.8
421-AH 71.43 446-AH 4.76
−1
422-AH 6.25 447-AH 60.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 50.00
424-AH 0.00 449-AH 20.00
425-AH 10.00 450-AH 33.33
345
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE02 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction MANUAL
Retrieved 41,153 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 594 Pooled true
Geometric Mean Average Precision 0.2248 manualy created queries
Binary Preference (BPREF) 0.3022
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.08 PRAGUE02
10 63.14 90%
20 52.27
80%
30 44.34
40 38.26 70%
50 35.51
60%
60 25.23
Precision
70 21.44 50%
80 16.75 40%
90 11.93
30%
100 9.03
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.36 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0214
First Quartile 0.1061
Second Quartile 0.2592
Third Quartile 0.5179
Interquartile range 0.4117 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3336
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2659 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0214
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3336 4
3
Std With No Outliers 0.2659
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE02
0.8
401-AH 29.92 426-AH 3.39 0.6
402-AH 18.82 427-AH 22.40 0.4
403-AH 7.22 428-AH 2.67 0.2
Difference
404-AH 38.02 429-AH 21.00 0
405-AH 62.08 430-AH 2.14 −0.2
−0.4
406-AH 20.95 431-AH 36.01
−0.6
407-AH 100.00 432-AH 31.88
−0.8
408-AH 73.14 433-AH 74.71
−1
409-AH 32.02 434-AH 69.32 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.40 435-AH 24.78
411-AH 51.79 436-AH 7.56
412-AH 17.10 437-AH 43.13 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE02
413-AH 51.92 438-AH 13.12 0.8
414-AH 74.77 439-AH 11.22 0.6
415-AH 10.61 440-AH 43.11 0.4
416-AH 21.06 441-AH 3.42 0.2
Difference
417-AH 25.08 442-AH 13.29 0
418-AH 80.73 443-AH 29.93 −0.2
−0.4
419-AH 49.71 444-AH 33.51
−0.6
420-AH 27.57 445-AH 100.00
−0.8
421-AH 24.83 446-AH 7.20
−1
422-AH 7.42 447-AH 60.70 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 55.22 448-AH 9.35
424-AH 5.33 449-AH 26.76
425-AH 7.22 450-AH 9.51
346
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE02 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 40.40 PRAGUE02
10 docs 33.60 90%
15 docs 28.67
80%
20 docs 25.40
30 docs 20.47 70%
100 docs 8.96
60%
200 docs 5.08
Precision
500 docs 2.24 50%
1000 docs 1.19 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.49
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1818
Second Quartile 0.2739
Third Quartile 0.5000
Interquartile range 0.3182 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3349
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2460 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.7500
6
Mean With No Outliers 0.3072
4
Std With No Outliers 0.2085
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE02
0.8
401-AH 18.18 426-AH 9.09 0.6
402-AH 27.50 427-AH 25.00 0.4
403-AH 20.00 428-AH 0.00 0.2
Difference
404-AH 50.00 429-AH 27.03 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 23.08 431-AH 40.91
−0.6
407-AH 100.00 432-AH 28.57
−0.8
408-AH 68.75 433-AH 68.42
−1
409-AH 16.67 434-AH 69.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 62.50 435-AH 30.00
411-AH 50.00 436-AH 8.33
412-AH 25.00 437-AH 50.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE02
413-AH 50.00 438-AH 13.33 0.8
414-AH 75.00 439-AH 18.18 0.6
415-AH 19.15 440-AH 50.00 0.4
416-AH 22.22 441-AH 0.00 0.2
Difference
417-AH 27.50 442-AH 20.00 0
418-AH 62.50 443-AH 30.00 −0.2
−0.4
419-AH 33.33 444-AH 29.41
−0.6
420-AH 27.27 445-AH 100.00
−0.8
421-AH 28.57 446-AH 14.29
−1
422-AH 21.88 447-AH 60.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 0.00
424-AH 0.00 449-AH 20.00
425-AH 10.00 450-AH 16.67
347
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE03 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction MANUAL
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 675 Pooled true
Geometric Mean Average Precision 0.1613 manualy created queries with wildcards
Binary Preference (BPREF) 0.2801
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.34 PRAGUE03
10 52.99 90%
20 46.77
80%
30 41.76
40 36.49 70%
50 32.76
60%
60 28.67
Precision
70 24.53 50%
80 19.99 40%
90 15.03
30%
100 12.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.02 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0051
First Quartile 0.0555
Second Quartile 0.2760
Third Quartile 0.5436
Interquartile range 0.4881 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3202
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2883 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0051
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.3202
Std With No Outliers 0.2883 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE03
0.8
401-AH 37.83 426-AH 8.39 0.6
402-AH 40.55 427-AH 29.13 0.4
403-AH 0.73 428-AH 3.36 0.2
Difference
404-AH 55.39 429-AH 12.96 0
405-AH 67.36 430-AH 40.96 −0.2
−0.4
406-AH 20.50 431-AH 81.35
−0.6
407-AH 2.89 432-AH 26.80
−0.8
408-AH 83.98 433-AH 66.02
−1
409-AH 29.03 434-AH 87.94 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.33 435-AH 28.39
411-AH 2.70 436-AH 0.59
412-AH 4.93 437-AH 36.39 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE03
413-AH 10.82 438-AH 8.54 0.8
414-AH 79.08 439-AH 0.51 0.6
415-AH 39.37 440-AH 28.92 0.4
416-AH 25.04 441-AH 43.64 0.2
Difference
417-AH 64.98 442-AH 33.18 0
418-AH 91.60 443-AH 5.97 −0.2
−0.4
419-AH 16.08 444-AH 29.65
−0.6
420-AH 21.82 445-AH 100.00
−0.8
421-AH 0.97 446-AH 24.34
−1
422-AH 5.14 447-AH 64.83 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 54.36 448-AH 1.40
424-AH 6.37 449-AH 2.67
425-AH 4.43 450-AH 5.55
348
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE03 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 40.00 PRAGUE03
10 docs 33.20 90%
15 docs 28.67
80%
20 docs 25.70
30 docs 21.33 70%
100 docs 9.64
60%
200 docs 5.42
Precision
500 docs 2.50 50%
1000 docs 1.35 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
31.47
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0833
Second Quartile 0.3038
Third Quartile 0.5227
Interquartile range 0.4394 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3147
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2732 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.3147
Std With No Outliers 0.2732 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE03
0.8
401-AH 36.36 426-AH 13.64 0.6
402-AH 40.00 427-AH 12.50 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 52.27 429-AH 21.62 0
405-AH 57.14 430-AH 25.00 −0.2
−0.4
406-AH 30.77 431-AH 72.73
−0.6
407-AH 0.00 432-AH 14.29
−0.8
408-AH 81.25 433-AH 68.42
−1
409-AH 33.33 434-AH 84.62 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.25 435-AH 30.00
411-AH 0.00 436-AH 0.00
412-AH 8.33 437-AH 37.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE03
413-AH 0.00 438-AH 13.33 0.8
414-AH 75.00 439-AH 0.00 0.6
415-AH 40.43 440-AH 38.10 0.4
416-AH 33.33 441-AH 57.14 0.2
Difference
417-AH 62.50 442-AH 40.00 0
418-AH 75.00 443-AH 10.00 −0.2
−0.4
419-AH 33.33 444-AH 17.65
−0.6
420-AH 27.27 445-AH 100.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 12.50 447-AH 60.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 0.00
424-AH 0.00 449-AH 0.00
425-AH 10.00 450-AH 8.33
349
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE04 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 666 Pooled false
Geometric Mean Average Precision 0.1689 robust stopword list
Binary Preference (BPREF) 0.2601
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.51 PRAGUE04
10 53.67 90%
20 48.68
80%
30 38.14
40 34.25 70%
50 30.05
60%
60 24.96
Precision
70 21.62 50%
80 17.02 40%
90 11.64
30%
100 9.15
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.69 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9667
Minimum 0.0008
First Quartile 0.0814
Second Quartile 0.2069
Third Quartile 0.4207
Interquartile range 0.3393 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2969
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2583 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0008
Upper Outlier Threshold 0.8263 10
Mean With No Outliers 0.2833
Std With No Outliers 0.2420 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE04
0.8
401-AH 35.21 426-AH 6.84 0.6
402-AH 35.85 427-AH 17.52 0.4
403-AH 8.19 428-AH 7.68 0.2
Difference
404-AH 57.94 429-AH 20.58 0
405-AH 56.73 430-AH 1.04 −0.2
−0.4
406-AH 8.14 431-AH 5.06
−0.6
407-AH 12.90 432-AH 42.07
−0.8
408-AH 78.37 433-AH 11.26
−1
409-AH 16.93 434-AH 79.36 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 66.80 435-AH 4.46
411-AH 0.08 436-AH 17.40
412-AH 20.81 437-AH 82.63 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE04
413-AH 8.14 438-AH 25.15 0.8
414-AH 26.86 439-AH 0.44 0.6
415-AH 24.87 440-AH 39.57 0.4
416-AH 28.95 441-AH 14.82 0.2
Difference
417-AH 39.71 442-AH 36.49 0
418-AH 75.50 443-AH 3.38 −0.2
−0.4
419-AH 15.42 444-AH 15.42
−0.6
420-AH 30.57 445-AH 96.67
−0.8
421-AH 69.42 446-AH 8.32
−1
422-AH 5.60 447-AH 57.23 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 60.17 448-AH 47.84
424-AH 7.48 449-AH 6.49
425-AH 6.98 450-AH 39.26
350
prague 10.2415/AH-MONO-CS-CLEF2007.PRAGUE.PRAGUE04 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 39.20 PRAGUE04
10 docs 31.40 90%
15 docs 28.80
80%
20 docs 25.70
30 docs 20.67 70%
100 docs 9.14
60%
200 docs 5.29
Precision
500 docs 2.45 50%
1000 docs 1.33 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
28.86
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8000
Minimum 0.0000
First Quartile 0.1250
Second Quartile 0.2566
Third Quartile 0.4000
Interquartile range 0.2750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2886
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2213 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8000
6
Mean With No Outliers 0.2886
4
Std With No Outliers 0.2213
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries PRAGUE04
0.8
401-AH 27.27 426-AH 13.64 0.6
402-AH 37.50 427-AH 12.50 0.4
403-AH 20.00 428-AH 16.67 0.2
Difference
404-AH 56.82 429-AH 27.03 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 15.38 431-AH 4.55
−0.6
407-AH 14.29 432-AH 28.57
−0.8
408-AH 75.00 433-AH 26.32
−1
409-AH 0.00 434-AH 69.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.25 435-AH 10.00
411-AH 0.00 436-AH 25.00
412-AH 20.83 437-AH 62.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
PRAGUE04
413-AH 0.00 438-AH 30.00 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 31.91 440-AH 47.62 0.4
416-AH 22.22 441-AH 28.57 0.2
Difference
417-AH 42.50 442-AH 40.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 23.53
−0.6
420-AH 36.36 445-AH 80.00
−0.8
421-AH 71.43 446-AH 19.05
−1
422-AH 12.50 447-AH 40.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 40.00
424-AH 0.00 449-AH 20.00
425-AH 10.00 450-AH 33.33
351
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ1 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 706 Pooled true
Geometric Mean Average Precision 0.2140 Okapi & LM
Binary Preference (BPREF) 0.3713
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 69.20 UNINECZ1
10 63.28 90%
20 57.98
80%
30 50.51
40 47.15 70%
50 43.08
60%
60 38.15
Precision
70 34.55 50%
80 30.28 40%
90 22.69
30%
100 19.09
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
41.67 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9752
Minimum 0.0000
First Quartile 0.1569
Second Quartile 0.3452
Third Quartile 0.6908
Interquartile range 0.5339 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4167
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3036 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9752 5
Mean With No Outliers 0.4167 4
3
Std With No Outliers 0.3036
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ1
0.8
401-AH 20.96 426-AH 12.79 0.6
402-AH 55.11 427-AH 17.89 0.4
403-AH 37.61 428-AH 4.90 0.2
Difference
404-AH 62.65 429-AH 57.30 0
405-AH 69.08 430-AH 0.24 −0.2
−0.4
406-AH 26.50 431-AH 75.07
−0.6
407-AH 80.84 432-AH 82.39
−0.8
408-AH 89.96 433-AH 77.56
−1
409-AH 7.63 434-AH 97.52 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 84.74 435-AH 10.54
411-AH 0.16 436-AH 4.79
412-AH 20.59 437-AH 89.19 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ1
413-AH 15.48 438-AH 12.87 0.8
414-AH 46.02 439-AH 0.00 0.6
415-AH 37.83 440-AH 30.86 0.4
416-AH 22.55 441-AH 82.61 0.2
Difference
417-AH 49.04 442-AH 85.09 0
418-AH 54.12 443-AH 31.43 −0.2
−0.4
419-AH 25.63 444-AH 27.05
−0.6
420-AH 42.54 445-AH 96.67
−0.8
421-AH 79.92 446-AH 4.23
−1
422-AH 2.62 447-AH 41.74 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 66.86 448-AH 47.34
424-AH 15.69 449-AH 31.36
425-AH 22.88 450-AH 25.25
352
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ1 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 45.60 UNINECZ1
10 docs 40.00 90%
15 docs 33.20
80%
20 docs 29.60
30 docs 24.33 70%
100 docs 10.94
60%
200 docs 6.15
Precision
500 docs 2.74 50%
1000 docs 1.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.14
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3905
Third Quartile 0.6250
Interquartile range 0.4583 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3914
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2705 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9231 5
Mean With No Outliers 0.3914 4
3
Std With No Outliers 0.2705
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ1
0.8
401-AH 18.18 426-AH 18.18 0.6
402-AH 55.00 427-AH 12.50 0.4
403-AH 40.00 428-AH 0.00 0.2
Difference
404-AH 59.09 429-AH 56.76 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 23.08 431-AH 68.18
−0.6
407-AH 71.43 432-AH 71.43
−0.8
408-AH 81.25 433-AH 73.68
−1
409-AH 16.67 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 25.00 437-AH 75.00 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ1
413-AH 0.00 438-AH 10.00 0.8
414-AH 41.67 439-AH 0.00 0.6
415-AH 42.55 440-AH 38.10 0.4
416-AH 11.11 441-AH 71.43 0.2
Difference
417-AH 45.00 442-AH 80.00 0
418-AH 62.50 443-AH 30.00 −0.2
−0.4
419-AH 33.33 444-AH 23.53
−0.6
420-AH 45.45 445-AH 80.00
−0.8
421-AH 71.43 446-AH 4.76
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 50.00
424-AH 25.00 449-AH 30.00
425-AH 30.00 450-AH 29.17
353
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ2 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 706 Pooled false
Geometric Mean Average Precision 0.2435 Okapi & GL2 & PB2
Binary Preference (BPREF) 0.3589
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.23 UNINECZ2
10 65.58 90%
20 56.55
80%
30 51.14
40 48.29 70%
50 43.20
60%
60 36.83
Precision
70 33.24 50%
80 30.07 40%
90 22.85
30%
100 18.23
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
41.34 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0009
First Quartile 0.1963
Second Quartile 0.3254
Third Quartile 0.6350
Interquartile range 0.4387 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4134
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2916 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0009 5
Upper Outlier Threshold 1.0000 4
Mean With No Outliers 0.4134 3
Std With No Outliers 0.2916 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ2
0.8
401-AH 24.43 426-AH 12.86 0.6
402-AH 53.63 427-AH 23.35 0.4
403-AH 45.98 428-AH 10.09 0.2
Difference
404-AH 56.56 429-AH 26.77 0
405-AH 56.06 430-AH 0.09 −0.2
−0.4
406-AH 20.29 431-AH 71.09
−0.6
407-AH 76.04 432-AH 51.27
−0.8
408-AH 85.90 433-AH 84.95
−1
409-AH 4.76 434-AH 98.86 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 83.10 435-AH 12.73
411-AH 0.27 436-AH 9.26
412-AH 21.21 437-AH 94.64 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ2
413-AH 29.17 438-AH 19.63 0.8
414-AH 59.22 439-AH 0.24 0.6
415-AH 36.26 440-AH 66.80 0.4
416-AH 22.88 441-AH 85.95 0.2
Difference
417-AH 47.83 442-AH 61.27 0
418-AH 71.81 443-AH 17.96 −0.2
−0.4
419-AH 25.97 444-AH 32.24
−0.6
420-AH 32.85 445-AH 100.00
−0.8
421-AH 63.50 446-AH 3.39
−1
422-AH 3.62 447-AH 53.92 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 71.65 448-AH 37.29
424-AH 14.84 449-AH 29.48
425-AH 28.89 450-AH 26.19
354
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ2 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 47.60 UNINECZ2
10 docs 39.20 90%
15 docs 35.20
80%
20 docs 31.00
30 docs 25.27 70%
100 docs 10.92
60%
200 docs 6.21
Precision
500 docs 2.74 50%
1000 docs 1.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.06
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3521
Third Quartile 0.5714
Interquartile range 0.4048 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3806
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2722 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 1.0000
6
Mean With No Outliers 0.3806
4
Std With No Outliers 0.2722
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ2
0.8
401-AH 27.27 426-AH 18.18 0.6
402-AH 52.50 427-AH 12.50 0.4
403-AH 40.00 428-AH 16.67 0.2
Difference
404-AH 61.36 429-AH 35.14 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 30.77 431-AH 63.64
−0.6
407-AH 57.14 432-AH 57.14
−0.8
408-AH 75.00 433-AH 78.95
−1
409-AH 0.00 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 10.00
411-AH 0.00 436-AH 0.00
412-AH 25.00 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ2
413-AH 0.00 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 40.43 440-AH 69.05 0.4
416-AH 0.00 441-AH 71.43 0.2
Difference
417-AH 45.00 442-AH 40.00 0
418-AH 62.50 443-AH 10.00 −0.2
−0.4
419-AH 33.33 444-AH 35.29
−0.6
420-AH 36.36 445-AH 100.00
−0.8
421-AH 57.14 446-AH 4.76
−1
422-AH 3.12 447-AH 70.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 25.00 449-AH 30.00
425-AH 30.00 450-AH 33.33
355
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ3 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description
Relevant retrieved 717 Pooled false
Geometric Mean Average Precision 0.2496 LM & Okapi & GL2
Binary Preference (BPREF) 0.3673
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.28 UNINECZ3
10 66.22 90%
20 56.94
80%
30 52.43
40 48.55 70%
50 43.22
60%
60 39.17
Precision
70 35.79 50%
80 30.51 40%
90 23.33
30%
100 18.79
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
42.25 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9945
Minimum 0.0015
First Quartile 0.1763
Second Quartile 0.3850
Third Quartile 0.6458
Interquartile range 0.4695 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4225
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2953 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0015 4
Upper Outlier Threshold 0.9945
3
Mean With No Outliers 0.4225
2
Std With No Outliers 0.2953
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ3
0.8
401-AH 31.14 426-AH 15.48 0.6
402-AH 46.81 427-AH 18.24 0.4
403-AH 39.62 428-AH 6.50 0.2
Difference
404-AH 62.33 429-AH 45.78 0
405-AH 64.31 430-AH 0.15 −0.2
−0.4
406-AH 31.61 431-AH 82.21
−0.6
407-AH 64.58 432-AH 70.83
−0.8
408-AH 89.65 433-AH 79.46
−1
409-AH 4.36 434-AH 99.45 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 88.37 435-AH 12.09
411-AH 0.25 436-AH 5.12
412-AH 16.83 437-AH 89.21 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ3
413-AH 22.50 438-AH 16.07 0.8
414-AH 54.36 439-AH 0.43 0.6
415-AH 40.20 440-AH 56.30 0.4
416-AH 23.41 441-AH 89.76 0.2
Difference
417-AH 47.46 442-AH 68.33 0
418-AH 62.59 443-AH 21.62 −0.2
−0.4
419-AH 26.56 444-AH 29.33
−0.6
420-AH 37.38 445-AH 96.67
−0.8
421-AH 81.90 446-AH 5.06
−1
422-AH 2.31 447-AH 44.30 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 67.24 448-AH 44.53
424-AH 17.63 449-AH 31.66
425-AH 32.26 450-AH 28.23
356
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ3 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 47.60 UNINECZ3
10 docs 40.20 90%
15 docs 35.47
80%
20 docs 30.60
30 docs 24.73 70%
100 docs 11.04
60%
200 docs 6.30
Precision
500 docs 2.76 50%
1000 docs 1.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.40
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.1500
Second Quartile 0.4000
Third Quartile 0.5952
Interquartile range 0.4452 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3840
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2767 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9231 5
Mean With No Outliers 0.3840 4
3
Std With No Outliers 0.2767
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ3
0.8
401-AH 27.27 426-AH 18.18 0.6
402-AH 45.00 427-AH 12.50 0.4
403-AH 40.00 428-AH 0.00 0.2
Difference
404-AH 59.09 429-AH 48.65 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 23.08 431-AH 77.27
−0.6
407-AH 71.43 432-AH 57.14
−0.8
408-AH 81.25 433-AH 73.68
−1
409-AH 0.00 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.25 435-AH 15.00
411-AH 0.00 436-AH 0.00
412-AH 16.67 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ3
413-AH 0.00 438-AH 16.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 44.68 440-AH 59.52 0.4
416-AH 11.11 441-AH 71.43 0.2
Difference
417-AH 42.50 442-AH 60.00 0
418-AH 62.50 443-AH 10.00 −0.2
−0.4
419-AH 33.33 444-AH 23.53
−0.6
420-AH 36.36 445-AH 80.00
−0.8
421-AH 71.43 446-AH 9.52
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 50.00
424-AH 25.00 449-AH 40.00
425-AH 20.00 450-AH 29.17
357
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ4 AH-MONO-CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Czech
Relevant 762 Topic Fields title, description, narrative
Relevant retrieved 721 Pooled true
Geometric Mean Average Precision 0.2500 Okapi & LM & GL2
Binary Preference (BPREF) 0.3617
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 75.92 UNINECZ4
10 67.99 90%
20 57.22
80%
30 51.00
40 47.14 70%
50 42.50
60%
60 37.38
Precision
70 33.49 50%
80 30.99 40%
90 24.15
30%
100 18.65
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
42.42 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9886
Minimum 0.0017
First Quartile 0.1810
Second Quartile 0.3704
Third Quartile 0.6816
Interquartile range 0.5005 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4242
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2979 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0017
6
Upper Outlier Threshold 0.9886 5
Mean With No Outliers 0.4242 4
3
Std With No Outliers 0.2979
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ4
0.8
401-AH 27.16 426-AH 17.50 0.6
402-AH 60.89 427-AH 28.83 0.4
403-AH 11.03 428-AH 2.18 0.2
Difference
404-AH 63.44 429-AH 38.52 0
405-AH 69.55 430-AH 0.17 −0.2
−0.4
406-AH 35.16 431-AH 75.42
−0.6
407-AH 27.81 432-AH 64.95
−0.8
408-AH 83.62 433-AH 82.32
−1
409-AH 7.09 434-AH 98.86 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 82.51 435-AH 18.10
411-AH 0.25 436-AH 18.53
412-AH 35.88 437-AH 91.29 1
Ad−Hoc Monolingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ4
413-AH 29.17 438-AH 25.05 0.8
414-AH 37.41 439-AH 0.21 0.6
415-AH 37.80 440-AH 91.24 0.4
416-AH 22.38 441-AH 89.56 0.2
Difference
417-AH 54.48 442-AH 67.61 0
418-AH 68.16 443-AH 22.07 −0.2
−0.4
419-AH 16.37 444-AH 37.58
−0.6
420-AH 24.41 445-AH 96.67
−0.8
421-AH 73.78 446-AH 6.17
−1
422-AH 3.82 447-AH 45.56 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 78.54 448-AH 43.65
424-AH 15.26 449-AH 44.52
425-AH 36.68 450-AH 11.83
358
unine 10.2415/AH-MONO-CS-CLEF2007.UNINE.UNINECZ4 AH-MONO-CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 48.80 UNINECZ4
10 docs 40.80 90%
15 docs 36.13
80%
20 docs 31.50
30 docs 25.73 70%
100 docs 11.30
60%
200 docs 6.27
Precision
500 docs 2.75 50%
1000 docs 1.44 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.82
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3333
Third Quartile 0.5909
Interquartile range 0.4242 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3782
Ad−Hoc Monolingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2758 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9231 5
Mean With No Outliers 0.3782 4
3
Std With No Outliers 0.2758
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINECZ4
0.8
401-AH 27.27 426-AH 27.27 0.6
402-AH 57.50 427-AH 12.50 0.4
403-AH 20.00 428-AH 0.00 0.2
Difference
404-AH 59.09 429-AH 40.54 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 46.15 431-AH 59.09
−0.6
407-AH 14.29 432-AH 57.14
−0.8
408-AH 81.25 433-AH 68.42
−1
409-AH 16.67 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 20.00
411-AH 0.00 436-AH 16.67
412-AH 33.33 437-AH 87.50 1
Ad−Hoc Monolingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINECZ4
413-AH 0.00 438-AH 23.33 0.8
414-AH 33.33 439-AH 0.00 0.6
415-AH 42.55 440-AH 80.95 0.4
416-AH 11.11 441-AH 85.71 0.2
Difference
417-AH 50.00 442-AH 60.00 0
418-AH 62.50 443-AH 20.00 −0.2
−0.4
419-AH 0.00 444-AH 23.53
−0.6
420-AH 27.27 445-AH 80.00
−0.8
421-AH 71.43 446-AH 14.29
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 66.67 448-AH 40.00
424-AH 0.00 449-AH 50.00
425-AH 30.00 450-AH 16.67
359
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUEXP2 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 777 Pooled false
Geometric Mean Average Precision 0.1535 DFR with BRF
Binary Preference (BPREF) 0.3669
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.29 IRNHUEXP2
10 62.06 90%
20 54.24
80%
30 48.85
40 45.65 70%
50 42.16
60%
60 35.59
Precision
70 31.95 50%
80 23.91 40%
90 18.78
30%
100 13.48
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.94 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9726
Minimum 0.0000
First Quartile 0.1562
Second Quartile 0.3138
Third Quartile 0.6488
Interquartile range 0.4926 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3894
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3083 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.9726
6
Mean With No Outliers 0.3894
4
Std With No Outliers 0.3083
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUEXP2
0.8
401-AH 20.01 426-AH 3.79 0.6
402-AH 50.81 427-AH 32.44 0.4
403-AH 10.27 428-AH 0.27 0.2
Difference
404-AH 22.41 429-AH 17.91 0
405-AH 18.75 430-AH 15.62 −0.2
−0.4
406-AH 60.34 431-AH 53.20
−0.6
407-AH 88.97 432-AH 34.57
−0.8
408-AH 30.33 433-AH 84.46
−1
409-AH 20.11 434-AH 91.20 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.51 435-AH 15.92
411-AH 1.33 436-AH 0.00
412-AH 14.36 437-AH 82.94 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNHUEXP2
413-AH 51.41 438-AH 16.24 0.8
414-AH 75.00 439-AH 0.09 0.6
415-AH 44.78 440-AH 9.01 0.4
416-AH 42.33 441-AH 92.01 0.2
Difference
417-AH 1.85 442-AH 90.93 0
418-AH 64.21 443-AH 2.26 −0.2
−0.4
419-AH 37.50 444-AH 24.34
−0.6
420-AH 40.21 445-AH 56.83
−0.8
421-AH 74.97 446-AH 0.00
−1
422-AH 20.44 447-AH 97.26 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.58 448-AH 73.51
424-AH 65.74 449-AH 64.88
425-AH 20.55 450-AH 4.76
360
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUEXP2 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 47.20 IRNHUEXP2
10 docs 42.00 90%
15 docs 38.00
80%
20 docs 34.70
30 docs 28.13 70%
100 docs 11.98
60%
200 docs 6.65
Precision
500 docs 2.94 50%
1000 docs 1.55 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.30
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3257
Third Quartile 0.6552
Interquartile range 0.4885 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3930
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2797 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9333 5
Mean With No Outliers 0.3930 4
3
Std With No Outliers 0.2797
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUEXP2
0.8
401-AH 27.59 426-AH 0.00 0.6
402-AH 57.14 427-AH 50.00 0.4
403-AH 16.67 428-AH 0.00 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 25.00 430-AH 11.11 −0.2
−0.4
406-AH 65.52 431-AH 48.48
−0.6
407-AH 75.00 432-AH 25.00
−0.8
408-AH 35.48 433-AH 79.07
−1
409-AH 25.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 23.33
411-AH 0.00 436-AH 0.00
412-AH 27.03 437-AH 73.08 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNHUEXP2
413-AH 54.17 438-AH 26.47 0.8
414-AH 75.00 439-AH 0.00 0.6
415-AH 48.48 440-AH 15.38 0.4
416-AH 54.55 441-AH 93.33 0.2
Difference
417-AH 0.00 442-AH 77.78 0
418-AH 57.89 443-AH 3.70 −0.2
−0.4
419-AH 50.00 444-AH 31.25
−0.6
420-AH 52.38 445-AH 25.00
−0.8
421-AH 66.67 446-AH 0.00
−1
422-AH 33.90 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 66.67 449-AH 55.56
425-AH 28.57 450-AH 7.69
361
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUEXP2N AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description, narrative
Relevant retrieved 811 Pooled false
Geometric Mean Average Precision 0.1963 DFR with BRF
Binary Preference (BPREF) 0.3694
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 71.25 IRNHUEXP2N
10 64.73 90%
20 58.19
80%
30 49.42
40 46.36 70%
50 42.47
60%
60 36.88
Precision
70 31.88 50%
80 23.66 40%
90 18.50
30%
100 12.58
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
40.09 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9568
Minimum 0.0004
First Quartile 0.1533
Second Quartile 0.3532
Third Quartile 0.6838
Interquartile range 0.5305 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4009
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3027 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0004
6
Upper Outlier Threshold 0.9568 5
Mean With No Outliers 0.4009 4
3
Std With No Outliers 0.3027
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUEXP2N
0.8
401-AH 5.72 426-AH 3.65 0.6
402-AH 59.86 427-AH 21.51 0.4
403-AH 3.87 428-AH 0.36 0.2
Difference
404-AH 26.77 429-AH 15.58 0
405-AH 28.08 430-AH 17.22 −0.2
−0.4
406-AH 64.89 431-AH 60.30
−0.6
407-AH 72.25 432-AH 34.98
−0.8
408-AH 80.68 433-AH 74.52
−1
409-AH 21.94 434-AH 83.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.52 435-AH 21.86
411-AH 2.94 436-AH 0.04
412-AH 20.59 437-AH 80.85 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNHUEXP2N
413-AH 55.86 438-AH 12.27 0.8
414-AH 75.00 439-AH 0.06 0.6
415-AH 47.71 440-AH 10.16 0.4
416-AH 35.66 441-AH 93.15 0.2
Difference
417-AH 1.77 442-AH 95.36 0
418-AH 75.50 443-AH 18.04 −0.2
−0.4
419-AH 37.50 444-AH 25.39
−0.6
420-AH 43.99 445-AH 66.79
−0.8
421-AH 70.33 446-AH 0.32
−1
422-AH 45.35 447-AH 95.68 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.24 448-AH 68.38
424-AH 46.05 449-AH 62.51
425-AH 15.33 450-AH 6.59
362
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUEXP2N AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 50.00 IRNHUEXP2N
10 docs 43.80 90%
15 docs 38.67
80%
20 docs 35.80
30 docs 29.27 70%
100 docs 12.30
60%
200 docs 6.87
Precision
500 docs 3.12 50%
1000 docs 1.62 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.23
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.1538
Second Quartile 0.3652
Third Quartile 0.5833
Interquartile range 0.4295 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3823
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2693 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8889 5
Mean With No Outliers 0.3823 4
3
Std With No Outliers 0.2693
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUEXP2N
0.8
401-AH 10.34 426-AH 0.00 0.6
402-AH 57.14 427-AH 21.43 0.4
403-AH 8.33 428-AH 0.00 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 25.00 430-AH 11.11 −0.2
−0.4
406-AH 68.97 431-AH 51.52
−0.6
407-AH 62.50 432-AH 25.00
−0.8
408-AH 74.19 433-AH 67.44
−1
409-AH 25.00 434-AH 70.83 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.73 435-AH 36.67
411-AH 0.00 436-AH 0.00
412-AH 27.03 437-AH 73.08 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNHUEXP2N
413-AH 58.33 438-AH 23.53 0.8
414-AH 75.00 439-AH 0.00 0.6
415-AH 45.45 440-AH 7.69 0.4
416-AH 36.36 441-AH 86.67 0.2
Difference
417-AH 0.00 442-AH 88.89 0
418-AH 63.16 443-AH 29.63 −0.2
−0.4
419-AH 50.00 444-AH 25.00
−0.6
420-AH 47.62 445-AH 50.00
−0.8
421-AH 55.56 446-AH 0.00
−1
422-AH 49.15 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 44.44 449-AH 55.56
425-AH 21.43 450-AH 15.38
363
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUEXP3 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 780 Pooled true
Geometric Mean Average Precision 0.1549 DFR with MI-BRF
Binary Preference (BPREF) 0.3674
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.63 IRNHUEXP3
10 63.03 90%
20 54.25
80%
30 48.97
40 45.93 70%
50 43.33
60%
60 35.44
Precision
70 31.74 50%
80 24.27 40%
90 18.62
30%
100 13.21
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.42 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9719
Minimum 0.0000
First Quartile 0.1616
Second Quartile 0.3048
Third Quartile 0.6522
Interquartile range 0.4906 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3942
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3100 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9719 5
Mean With No Outliers 0.3942 4
3
Std With No Outliers 0.3100
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUEXP3
0.8
401-AH 22.72 426-AH 4.29 0.6
402-AH 49.14 427-AH 27.63 0.4
403-AH 6.83 428-AH 0.21 0.2
Difference
404-AH 21.25 429-AH 21.46 0
405-AH 18.75 430-AH 21.11 −0.2
−0.4
406-AH 62.48 431-AH 50.92
−0.6
407-AH 85.21 432-AH 28.88
−0.8
408-AH 32.08 433-AH 86.22
−1
409-AH 18.96 434-AH 90.83 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 82.63 435-AH 16.16
411-AH 1.19 436-AH 0.00
412-AH 14.01 437-AH 80.56 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNHUEXP3
413-AH 53.19 438-AH 18.07 0.8
414-AH 75.00 439-AH 0.10 0.6
415-AH 44.78 440-AH 11.27 0.4
416-AH 44.41 441-AH 92.78 0.2
Difference
417-AH 1.99 442-AH 94.37 0
418-AH 62.46 443-AH 2.07 −0.2
−0.4
419-AH 35.00 444-AH 32.70
−0.6
420-AH 42.85 445-AH 61.79
−0.8
421-AH 83.64 446-AH 0.00
−1
422-AH 19.81 447-AH 97.19 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.54 448-AH 69.76
424-AH 67.57 449-AH 65.22
425-AH 20.91 450-AH 5.07
364
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUEXP3 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 48.40 IRNHUEXP3
10 docs 41.80 90%
15 docs 37.20
80%
20 docs 35.30
30 docs 28.80 70%
100 docs 11.96
60%
200 docs 6.64
Precision
500 docs 2.95 50%
1000 docs 1.56 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.2869
Third Quartile 0.5789
Interquartile range 0.4123 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3872
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2803 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.9333
6
Mean With No Outliers 0.3872
4
Std With No Outliers 0.2803
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUEXP3
0.8
401-AH 27.59 426-AH 0.00 0.6
402-AH 57.14 427-AH 21.43 0.4
403-AH 16.67 428-AH 0.00 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 25.00 430-AH 11.11 −0.2
−0.4
406-AH 65.52 431-AH 51.52
−0.6
407-AH 75.00 432-AH 25.00
−0.8
408-AH 38.71 433-AH 81.40
−1
409-AH 25.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 26.67
411-AH 0.00 436-AH 0.00
412-AH 24.32 437-AH 73.08 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNHUEXP3
413-AH 54.17 438-AH 26.47 0.8
414-AH 75.00 439-AH 0.00 0.6
415-AH 48.48 440-AH 15.38 0.4
416-AH 54.55 441-AH 93.33 0.2
Difference
417-AH 0.00 442-AH 77.78 0
418-AH 57.89 443-AH 3.70 −0.2
−0.4
419-AH 50.00 444-AH 31.25
−0.6
420-AH 52.38 445-AH 25.00
−0.8
421-AH 77.78 446-AH 0.00
−1
422-AH 28.81 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 72.22 449-AH 55.56
425-AH 28.57 450-AH 11.54
365
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUNEXP AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,830 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 704 Pooled false
Geometric Mean Average Precision 0.1468 DFR without expansion
Binary Preference (BPREF) 0.3304
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.34 IRNHUNEXP
10 60.00 90%
20 51.30
80%
30 44.70
40 40.02 70%
50 36.60
60%
60 29.44
Precision
70 24.89 50%
80 17.11 40%
90 13.26
30%
100 9.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.90 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9288
Minimum 0.0000
First Quartile 0.1052
Second Quartile 0.2335
Third Quartile 0.5942
Interquartile range 0.4890 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3390
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2849 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.9288
6
Mean With No Outliers 0.3390
4
Std With No Outliers 0.2849
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUNEXP
0.8
401-AH 15.78 426-AH 2.96 0.6
402-AH 41.85 427-AH 15.46 0.4
403-AH 18.06 428-AH 3.98 0.2
Difference
404-AH 24.66 429-AH 13.71 0
405-AH 20.83 430-AH 13.62 −0.2
−0.4
406-AH 54.58 431-AH 31.35
−0.6
407-AH 65.69 432-AH 22.03
−0.8
408-AH 16.45 433-AH 78.51
−1
409-AH 25.63 434-AH 57.58 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.65 435-AH 14.33
411-AH 1.02 436-AH 0.00
412-AH 7.81 437-AH 67.56 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IRNHUNEXP
413-AH 43.59 438-AH 8.97 0.8
414-AH 75.00 439-AH 0.13 0.6
415-AH 27.87 440-AH 6.25 0.4
416-AH 67.30 441-AH 83.56 0.2
Difference
417-AH 1.46 442-AH 91.89 0
418-AH 67.03 443-AH 2.58 −0.2
−0.4
419-AH 50.87 444-AH 17.31
−0.6
420-AH 19.71 445-AH 64.88
−0.8
421-AH 59.42 446-AH 0.02
−1
422-AH 18.27 447-AH 92.88 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 29.67 448-AH 65.18
424-AH 33.46 449-AH 59.19
425-AH 10.52 450-AH 3.86
366
alicante 10.2415/AH-MONO-HU-CLEF2007.ALICANTE.IRNHUNEXP AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 46.40 IRNHUNEXP
10 docs 37.60 90%
15 docs 32.40
80%
20 docs 29.80
30 docs 24.33 70%
100 docs 10.64
60%
200 docs 5.99
Precision
500 docs 2.66 50%
1000 docs 1.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.83
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8696
Minimum 0.0000
First Quartile 0.1429
Second Quartile 0.2771
Third Quartile 0.5862
Interquartile range 0.4433 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3583
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2591 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8696 5
Mean With No Outliers 0.3583 4
3
Std With No Outliers 0.2591
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IRNHUNEXP
0.8
401-AH 13.79 426-AH 0.00 0.6
402-AH 47.62 427-AH 14.29 0.4
403-AH 25.00 428-AH 7.14 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 50.00 430-AH 11.11 −0.2
−0.4
406-AH 58.62 431-AH 42.42
−0.6
407-AH 62.50 432-AH 25.00
−0.8
408-AH 16.13 433-AH 74.42
−1
409-AH 25.00 434-AH 62.50 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.73 435-AH 30.00
411-AH 0.00 436-AH 0.00
412-AH 21.62 437-AH 61.54 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IRNHUNEXP
413-AH 50.00 438-AH 20.59 0.8
414-AH 75.00 439-AH 0.00 0.6
415-AH 37.88 440-AH 7.69 0.4
416-AH 63.64 441-AH 73.33 0.2
Difference
417-AH 0.00 442-AH 77.78 0
418-AH 52.63 443-AH 7.41 −0.2
−0.4
419-AH 50.00 444-AH 25.00
−0.6
420-AH 23.81 445-AH 50.00
−0.8
421-AH 66.67 446-AH 0.00
−1
422-AH 25.42 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 40.00 448-AH 75.00
424-AH 50.00 449-AH 51.85
425-AH 14.29 450-AH 7.69
367
daedalus 10.2415/AH-MONO-HU-CLEF2007.DAEDALUS.HUFSHU2S AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,981 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 771 Pooled true
Geometric Mean Average Precision 0.2298 Standard baseline treatment
Binary Preference (BPREF) 0.3291
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 76.72 HUFSHU2S
10 64.79 90%
20 53.10
80%
30 45.17
40 40.17 70%
50 36.38
60%
60 27.13
Precision
70 23.25 50%
80 16.91 40%
90 12.12
30%
100 9.88
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.99 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9568
Minimum 0.0016
First Quartile 0.1321
Second Quartile 0.2872
Third Quartile 0.5000
Interquartile range 0.3679 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3499
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2613 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0016 5
Upper Outlier Threshold 0.9568 4
Mean With No Outliers 0.3499 3
Std With No Outliers 0.2613 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries HUFSHU2S
0.8
401-AH 30.06 426-AH 2.69 0.6
402-AH 48.21 427-AH 18.35 0.4
403-AH 12.64 428-AH 45.13 0.2
Difference
404-AH 23.57 429-AH 9.10 0
405-AH 34.08 430-AH 10.83 −0.2
−0.4
406-AH 35.22 431-AH 30.19
−0.6
407-AH 35.63 432-AH 26.89
−0.8
408-AH 16.41 433-AH 81.21
−1
409-AH 21.22 434-AH 46.28 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.37 435-AH 13.21
411-AH 0.79 436-AH 6.01
412-AH 30.65 437-AH 59.56 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
HUFSHU2S
413-AH 38.57 438-AH 20.26 0.8
414-AH 50.00 439-AH 10.16 0.6
415-AH 28.47 440-AH 13.53 0.4
416-AH 58.84 441-AH 89.92 0.2
Difference
417-AH 5.04 442-AH 87.59 0
418-AH 51.81 443-AH 8.01 −0.2
−0.4
419-AH 25.39 444-AH 28.97
−0.6
420-AH 24.47 445-AH 87.50
−0.8
421-AH 68.82 446-AH 0.16
−1
422-AH 26.47 447-AH 95.68 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 27.08 448-AH 73.75
424-AH 54.79 449-AH 36.18
425-AH 12.95 450-AH 8.96
368
daedalus 10.2415/AH-MONO-HU-CLEF2007.DAEDALUS.HUFSHU2S AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 50.40 HUFSHU2S
10 docs 42.20 90%
15 docs 33.87
80%
20 docs 30.80
30 docs 25.53 70%
100 docs 10.88
60%
200 docs 6.29
Precision
500 docs 2.89 50%
1000 docs 1.54 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.20
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.1538
Second Quartile 0.3391
Third Quartile 0.5000
Interquartile range 0.3462 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3620
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2412 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8889 5
Mean With No Outliers 0.3620 4
3
Std With No Outliers 0.2412
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries HUFSHU2S
0.8
401-AH 34.48 426-AH 0.00 0.6
402-AH 47.62 427-AH 14.29 0.4
403-AH 8.33 428-AH 57.14 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 25.00 430-AH 11.11 −0.2
−0.4
406-AH 31.03 431-AH 36.36
−0.6
407-AH 50.00 432-AH 25.00
−0.8
408-AH 19.35 433-AH 76.74
−1
409-AH 25.00 434-AH 50.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.18 435-AH 30.00
411-AH 0.00 436-AH 0.00
412-AH 37.84 437-AH 53.85 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
HUFSHU2S
413-AH 50.00 438-AH 23.53 0.8
414-AH 50.00 439-AH 14.29 0.6
415-AH 42.42 440-AH 7.69 0.4
416-AH 63.64 441-AH 86.67 0.2
Difference
417-AH 9.09 442-AH 88.89 0
418-AH 47.37 443-AH 11.11 −0.2
−0.4
419-AH 50.00 444-AH 37.50
−0.6
420-AH 33.33 445-AH 75.00
−0.8
421-AH 55.56 446-AH 0.00
−1
422-AH 35.59 447-AH 78.26 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 50.00 449-AH 33.33
425-AH 21.43 450-AH 11.54
369
isi 10.2415/AH-MONO-HU-CLEF2007.ISI.ISIDWLDHSTEMGZ AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,353 Source Language Hungarian
Relevant 911 Topic Fields title, description, narrative
Relevant retrieved 600 Pooled false
Geometric Mean Average Precision 0.0562 dwldstem
Binary Preference (BPREF) 0.1530
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.45 ISIDWLDHSTEMGZ
10 31.65 90%
20 26.69
80%
30 21.13
40 18.70 70%
50 14.30
60%
60 11.50
Precision
70 8.55 50%
80 5.92 40%
90 3.52
30%
100 2.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
15.66 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7918
Minimum 0.0000
First Quartile 0.0190
Second Quartile 0.0793
Third Quartile 0.2336
Interquartile range 0.2146 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1566
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1880 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5038
15
Mean With No Outliers 0.1255
10
Std With No Outliers 0.1430
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ISIDWLDHSTEMGZ
0.8
401-AH 4.17 426-AH 1.10 0.6
402-AH 25.75 427-AH 21.31 0.4
403-AH 0.52 428-AH 8.12 0.2
Difference
404-AH 7.75 429-AH 3.81 0
405-AH 15.09 430-AH 1.52 −0.2
−0.4
406-AH 9.34 431-AH 1.90
−0.6
407-AH 3.82 432-AH 12.35
−0.8
408-AH 23.36 433-AH 21.79
−1
409-AH 30.30 434-AH 9.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 41.02 435-AH 1.33
411-AH 6.67 436-AH 0.00
412-AH 2.12 437-AH 50.38 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ISIDWLDHSTEMGZ
413-AH 38.53 438-AH 2.06 0.8
414-AH 1.59 439-AH 0.57 0.6
415-AH 21.04 440-AH 8.99 0.4
416-AH 35.17 441-AH 5.36 0.2
Difference
417-AH 0.50 442-AH 11.29 0
418-AH 58.22 443-AH 3.12 −0.2
−0.4
419-AH 0.90 444-AH 3.48
−0.6
420-AH 13.43 445-AH 50.00
−0.8
421-AH 55.88 446-AH 0.11
−1
422-AH 0.73 447-AH 79.18 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 41.64 448-AH 9.04
424-AH 27.62 449-AH 4.37
425-AH 5.62 450-AH 1.88
370
isi 10.2415/AH-MONO-HU-CLEF2007.ISI.ISIDWLDHSTEMGZ AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 22.40 ISIDWLDHSTEMGZ
10 docs 21.40 90%
15 docs 18.80
80%
20 docs 16.90
30 docs 14.07 70%
100 docs 7.00
60%
200 docs 4.28
Precision
500 docs 2.12 50%
1000 docs 1.20 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.01
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6957
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1181
Third Quartile 0.3023
Interquartile range 0.3023 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1801
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1883 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6957
Mean With No Outliers 0.1801 10
Std With No Outliers 0.1883
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ISIDWLDHSTEMGZ
0.8
401-AH 13.79 426-AH 0.00 0.6
402-AH 38.10 427-AH 28.57 0.4
403-AH 0.00 428-AH 7.14 0.2
Difference
404-AH 0.00 429-AH 7.69 0
405-AH 25.00 430-AH 0.00 −0.2
−0.4
406-AH 20.69 431-AH 0.00
−0.6
407-AH 12.50 432-AH 16.67
−0.8
408-AH 32.26 433-AH 30.23
−1
409-AH 25.00 434-AH 16.67 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 40.91 435-AH 3.33
411-AH 0.00 436-AH 0.00
412-AH 8.11 437-AH 57.69 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ISIDWLDHSTEMGZ
413-AH 45.83 438-AH 8.82 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 24.24 440-AH 15.38 0.4
416-AH 54.55 441-AH 6.67 0.2
Difference
417-AH 0.00 442-AH 11.11 0
418-AH 47.37 443-AH 11.11 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 19.05 445-AH 50.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 3.39 447-AH 69.57 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 40.00 448-AH 0.00
424-AH 38.89 449-AH 7.41
425-AH 14.29 450-AH 3.85
371
isi 10.2415/AH-MONO-HU-CLEF2007.ISI.YASSHUN AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description, narrative
Relevant retrieved 658 Pooled true
Geometric Mean Average Precision 0.0744 Statistical stemming
Binary Preference (BPREF) 0.1577
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 44.31 YASSHUN
10 36.58 90%
20 32.14
80%
30 24.17
40 21.43 70%
50 16.37
60%
60 12.14
Precision
70 8.35 50%
80 5.05 40%
90 2.24
30%
100 1.31
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
17.12 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6212
Minimum 0.0010
First Quartile 0.0310
Second Quartile 0.0837
Third Quartile 0.2575
Interquartile range 0.2265 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1712
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1789 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0010 20
Upper Outlier Threshold 0.5570
15
Mean With No Outliers 0.1620
10
Std With No Outliers 0.1684
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries YASSHUN
0.8
401-AH 4.98 426-AH 0.50 0.6
402-AH 29.42 427-AH 20.78 0.4
403-AH 1.40 428-AH 2.36 0.2
Difference
404-AH 5.01 429-AH 3.10 0
405-AH 25.75 430-AH 2.29 −0.2
−0.4
406-AH 20.28 431-AH 3.62
−0.6
407-AH 4.55 432-AH 23.51
−0.8
408-AH 43.92 433-AH 21.03
−1
409-AH 29.77 434-AH 13.15 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 38.14 435-AH 1.65
411-AH 2.08 436-AH 0.18
412-AH 4.07 437-AH 52.45 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
YASSHUN
413-AH 22.41 438-AH 0.80 0.8
414-AH 8.01 439-AH 1.74 0.6
415-AH 34.42 440-AH 5.17 0.4
416-AH 16.88 441-AH 23.98 0.2
Difference
417-AH 0.10 442-AH 55.70 0
418-AH 48.84 443-AH 3.27 −0.2
−0.4
419-AH 4.41 444-AH 7.17
−0.6
420-AH 15.28 445-AH 53.54
−0.8
421-AH 25.28 446-AH 0.15
−1
422-AH 2.59 447-AH 62.12 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.50 448-AH 8.74
424-AH 32.72 449-AH 9.63
425-AH 4.76 450-AH 3.62
372
isi 10.2415/AH-MONO-HU-CLEF2007.ISI.YASSHUN AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 22.40 YASSHUN
10 docs 22.00 90%
15 docs 21.60
80%
20 docs 19.20
30 docs 16.00 70%
100 docs 7.58
60%
200 docs 4.66
Precision
500 docs 2.35 50%
1000 docs 1.32 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5769
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1455
Third Quartile 0.3103
Interquartile range 0.3103 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1974
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1928 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.5769
Mean With No Outliers 0.1974 10
Std With No Outliers 0.1928
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries YASSHUN
0.8
401-AH 13.79 426-AH 0.00 0.6
402-AH 47.62 427-AH 28.57 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 7.69 0
405-AH 25.00 430-AH 0.00 −0.2
−0.4
406-AH 31.03 431-AH 9.09
−0.6
407-AH 0.00 432-AH 41.67
−0.8
408-AH 51.61 433-AH 27.91
−1
409-AH 25.00 434-AH 25.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 40.91 435-AH 6.67
411-AH 0.00 436-AH 0.00
412-AH 13.51 437-AH 57.69 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
YASSHUN
413-AH 29.17 438-AH 0.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 39.39 440-AH 7.69 0.4
416-AH 18.18 441-AH 26.67 0.2
Difference
417-AH 0.00 442-AH 55.56 0
418-AH 47.37 443-AH 14.81 −0.2
−0.4
419-AH 0.00 444-AH 6.25
−0.6
420-AH 14.29 445-AH 50.00
−0.8
421-AH 22.22 446-AH 0.00
−1
422-AH 6.78 447-AH 56.52 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 40.00 448-AH 0.00
424-AH 55.56 449-AH 18.52
425-AH 21.43 450-AH 3.85
373
isi 10.2415/AH-MONO-HU-CLEF2007.ISI.YASSTDHUN AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 658 Pooled true
Geometric Mean Average Precision 0.0744 Statistical stemming with Title and Desc
Binary Preference (BPREF) 0.1577
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 44.31 YASSTDHUN
10 36.58 90%
20 32.14
80%
30 24.17
40 21.43 70%
50 16.37
60%
60 12.14
Precision
70 8.35 50%
80 5.05 40%
90 2.24
30%
100 1.31
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
17.12 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6212
Minimum 0.0010
First Quartile 0.0310
Second Quartile 0.0837
Third Quartile 0.2575
Interquartile range 0.2265 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1712
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1789 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0010 20
Upper Outlier Threshold 0.5570
15
Mean With No Outliers 0.1620
10
Std With No Outliers 0.1684
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries YASSTDHUN
0.8
401-AH 4.98 426-AH 0.50 0.6
402-AH 29.42 427-AH 20.78 0.4
403-AH 1.40 428-AH 2.36 0.2
Difference
404-AH 5.01 429-AH 3.10 0
405-AH 25.75 430-AH 2.29 −0.2
−0.4
406-AH 20.28 431-AH 3.62
−0.6
407-AH 4.55 432-AH 23.51
−0.8
408-AH 43.92 433-AH 21.03
−1
409-AH 29.77 434-AH 13.15 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 38.14 435-AH 1.65
411-AH 2.08 436-AH 0.18
412-AH 4.07 437-AH 52.45 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
YASSTDHUN
413-AH 22.41 438-AH 0.80 0.8
414-AH 8.01 439-AH 1.74 0.6
415-AH 34.42 440-AH 5.17 0.4
416-AH 16.88 441-AH 23.98 0.2
Difference
417-AH 0.10 442-AH 55.70 0
418-AH 48.84 443-AH 3.27 −0.2
−0.4
419-AH 4.41 444-AH 7.17
−0.6
420-AH 15.28 445-AH 53.54
−0.8
421-AH 25.28 446-AH 0.15
−1
422-AH 2.59 447-AH 62.12 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.50 448-AH 8.74
424-AH 32.72 449-AH 9.63
425-AH 4.76 450-AH 3.62
374
isi 10.2415/AH-MONO-HU-CLEF2007.ISI.YASSTDHUN AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 22.40 YASSTDHUN
10 docs 22.00 90%
15 docs 21.60
80%
20 docs 19.20
30 docs 16.00 70%
100 docs 7.58
60%
200 docs 4.66
Precision
500 docs 2.35 50%
1000 docs 1.32 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5769
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1455
Third Quartile 0.3103
Interquartile range 0.3103 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1974
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1928 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.5769
Mean With No Outliers 0.1974 10
Std With No Outliers 0.1928
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries YASSTDHUN
0.8
401-AH 13.79 426-AH 0.00 0.6
402-AH 47.62 427-AH 28.57 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 7.69 0
405-AH 25.00 430-AH 0.00 −0.2
−0.4
406-AH 31.03 431-AH 9.09
−0.6
407-AH 0.00 432-AH 41.67
−0.8
408-AH 51.61 433-AH 27.91
−1
409-AH 25.00 434-AH 25.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 40.91 435-AH 6.67
411-AH 0.00 436-AH 0.00
412-AH 13.51 437-AH 57.69 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
YASSTDHUN
413-AH 29.17 438-AH 0.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 39.39 440-AH 7.69 0.4
416-AH 18.18 441-AH 26.67 0.2
Difference
417-AH 0.00 442-AH 55.56 0
418-AH 47.37 443-AH 14.81 −0.2
−0.4
419-AH 0.00 444-AH 6.25
−0.6
420-AH 14.29 445-AH 50.00
−0.8
421-AH 22.22 446-AH 0.00
−1
422-AH 6.78 447-AH 56.52 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 40.00 448-AH 0.00
424-AH 55.56 449-AH 18.52
425-AH 21.43 450-AH 3.85
375
jhu-apl 10.2415/AH-MONO-HU-CLEF2007.JHU-APL.APLMOHUTD4 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 869 Pooled false
Geometric Mean Average Precision 0.1943 4-grams
Binary Preference (BPREF) 0.3530
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.01 APLMOHUTD4
10 57.28 90%
20 52.51
80%
30 47.88
40 43.99 70%
50 41.38
60%
60 35.70
Precision
70 31.53 50%
80 26.83 40%
90 22.13
30%
100 16.77
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.33 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1676
Second Quartile 0.2905
Third Quartile 0.5605
Interquartile range 0.3928 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3833
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2917 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3833 4
3
Std With No Outliers 0.2917
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOHUTD4
0.8
401-AH 44.08 426-AH 4.15 0.6
402-AH 55.37 427-AH 19.23 0.4
403-AH 1.90 428-AH 42.82 0.2
Difference
404-AH 30.72 429-AH 12.38 0
405-AH 23.65 430-AH 16.65 −0.2
−0.4
406-AH 40.91 431-AH 56.05
−0.6
407-AH 11.43 432-AH 26.50
−0.8
408-AH 86.66 433-AH 81.15
−1
409-AH 24.18 434-AH 91.22 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 79.32 435-AH 27.37
411-AH 0.73 436-AH 0.00
412-AH 16.84 437-AH 73.50 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOHUTD4
413-AH 46.78 438-AH 46.78 0.8
414-AH 17.78 439-AH 8.20 0.6
415-AH 48.74 440-AH 49.33 0.4
416-AH 25.26 441-AH 96.62 0.2
Difference
417-AH 3.22 442-AH 77.05 0
418-AH 54.78 443-AH 16.76 −0.2
−0.4
419-AH 30.95 444-AH 16.87
−0.6
420-AH 19.11 445-AH 100.00
−0.8
421-AH 48.98 446-AH 0.05
−1
422-AH 8.16 447-AH 83.05 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 26.00 448-AH 69.55
424-AH 73.48 449-AH 60.44
425-AH 16.77 450-AH 5.15
376
jhu-apl 10.2415/AH-MONO-HU-CLEF2007.JHU-APL.APLMOHUTD4 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 46.40 APLMOHUTD4
10 docs 41.80 90%
15 docs 37.33
80%
20 docs 33.80
30 docs 28.73 70%
100 docs 12.96
60%
200 docs 7.54
Precision
500 docs 3.34 50%
1000 docs 1.74 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1538
Second Quartile 0.3500
Third Quartile 0.5455
Interquartile range 0.3916 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3872
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2764 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 1.0000
6
Mean With No Outliers 0.3872
4
Std With No Outliers 0.2764
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOHUTD4
0.8
401-AH 44.83 426-AH 0.00 0.6
402-AH 52.38 427-AH 14.29 0.4
403-AH 0.00 428-AH 50.00 0.2
Difference
404-AH 33.33 429-AH 15.38 0
405-AH 25.00 430-AH 33.33 −0.2
−0.4
406-AH 41.38 431-AH 54.55
−0.6
407-AH 12.50 432-AH 25.00
−0.8
408-AH 77.42 433-AH 76.74
−1
409-AH 50.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 36.67
411-AH 0.00 436-AH 0.00
412-AH 18.92 437-AH 69.23 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOHUTD4
413-AH 50.00 438-AH 41.18 0.8
414-AH 25.00 439-AH 14.29 0.6
415-AH 53.03 440-AH 53.85 0.4
416-AH 27.27 441-AH 93.33 0.2
Difference
417-AH 0.00 442-AH 77.78 0
418-AH 52.63 443-AH 22.22 −0.2
−0.4
419-AH 0.00 444-AH 25.00
−0.6
420-AH 23.81 445-AH 100.00
−0.8
421-AH 55.56 446-AH 0.00
−1
422-AH 13.56 447-AH 82.61 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 72.22 449-AH 59.26
425-AH 28.57 450-AH 7.69
377
jhu-apl 10.2415/AH-MONO-HU-CLEF2007.JHU-APL.APLMOHUTD5 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 860 Pooled true
Geometric Mean Average Precision 0.1829 5-grams
Binary Preference (BPREF) 0.3676
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 69.07 APLMOHUTD5
10 62.10 90%
20 54.48
80%
30 47.97
40 44.70 70%
50 41.88
60%
60 35.98
Precision
70 32.17 50%
80 27.73 40%
90 22.15
30%
100 16.66
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9759
Minimum 0.0000
First Quartile 0.1520
Second Quartile 0.3761
Third Quartile 0.6093
Interquartile range 0.4573 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3991
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2964 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9759 5
Mean With No Outliers 0.3991 4
3
Std With No Outliers 0.2964
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOHUTD5
0.8
401-AH 41.80 426-AH 4.85 0.6
402-AH 54.01 427-AH 18.01 0.4
403-AH 1.65 428-AH 46.45 0.2
Difference
404-AH 17.36 429-AH 8.95 0
405-AH 1.25 430-AH 28.68 −0.2
−0.4
406-AH 36.64 431-AH 48.95
−0.6
407-AH 73.06 432-AH 38.57
−0.8
408-AH 77.42 433-AH 84.05
−1
409-AH 21.80 434-AH 87.37 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.41 435-AH 18.90
411-AH 1.10 436-AH 0.00
412-AH 10.39 437-AH 77.86 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOHUTD5
413-AH 45.35 438-AH 36.60 0.8
414-AH 34.27 439-AH 17.22 0.6
415-AH 49.89 440-AH 50.89 0.4
416-AH 38.88 441-AH 97.59 0.2
Difference
417-AH 4.83 442-AH 86.01 0
418-AH 56.16 443-AH 12.31 −0.2
−0.4
419-AH 39.29 444-AH 20.69
−0.6
420-AH 21.39 445-AH 95.00
−0.8
421-AH 59.95 446-AH 0.00
−1
422-AH 7.56 447-AH 86.20 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.22 448-AH 71.78
424-AH 74.45 449-AH 60.93
425-AH 15.20 450-AH 8.43
378
jhu-apl 10.2415/AH-MONO-HU-CLEF2007.JHU-APL.APLMOHUTD5 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 47.60 APLMOHUTD5
10 docs 43.20 90%
15 docs 37.47
80%
20 docs 33.90
30 docs 28.40 70%
100 docs 12.76
60%
200 docs 7.29
Precision
500 docs 3.27 50%
1000 docs 1.72 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.54
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.1622
Second Quartile 0.3333
Third Quartile 0.5556
Interquartile range 0.3934 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3954
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2680 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.9333 4
Mean With No Outliers 0.3954 3
Std With No Outliers 0.2680 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOHUTD5
0.8
401-AH 44.83 426-AH 12.50 0.6
402-AH 47.62 427-AH 14.29 0.4
403-AH 0.00 428-AH 50.00 0.2
Difference
404-AH 33.33 429-AH 7.69 0
405-AH 0.00 430-AH 33.33 −0.2
−0.4
406-AH 41.38 431-AH 42.42
−0.6
407-AH 62.50 432-AH 33.33
−0.8
408-AH 74.19 433-AH 79.07
−1
409-AH 25.00 434-AH 83.33 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 33.33
411-AH 0.00 436-AH 0.00
412-AH 16.22 437-AH 65.38 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOHUTD5
413-AH 50.00 438-AH 29.41 0.8
414-AH 25.00 439-AH 14.29 0.6
415-AH 53.03 440-AH 53.85 0.4
416-AH 27.27 441-AH 93.33 0.2
Difference
417-AH 9.09 442-AH 77.78 0
418-AH 47.37 443-AH 22.22 −0.2
−0.4
419-AH 50.00 444-AH 31.25
−0.6
420-AH 23.81 445-AH 75.00
−0.8
421-AH 55.56 446-AH 0.00
−1
422-AH 13.56 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 77.78 449-AH 55.56
425-AH 21.43 450-AH 11.54
379
jhu-apl 10.2415/AH-MONO-HU-CLEF2007.JHU-APL.APLMOHUTDN4 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description, narrative
Relevant retrieved 865 Pooled true
Geometric Mean Average Precision 0.2437 4-grams
Binary Preference (BPREF) 0.3490
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 73.51 APLMOHUTDN4
10 64.53 90%
20 56.34
80%
30 47.11
40 42.04 70%
50 38.54
60%
60 33.72
Precision
70 29.81 50%
80 25.88 40%
90 21.76
30%
100 16.49
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.33 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0003
First Quartile 0.1744
Second Quartile 0.3251
Third Quartile 0.5788
Interquartile range 0.4043 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3933
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2854 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003 4
Upper Outlier Threshold 1.0000
3
Mean With No Outliers 0.3933
2
Std With No Outliers 0.2854
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOHUTDN4
0.8
401-AH 31.44 426-AH 7.61 0.6
402-AH 58.38 427-AH 24.28 0.4
403-AH 3.06 428-AH 40.62 0.2
Difference
404-AH 34.01 429-AH 13.92 0
405-AH 33.63 430-AH 23.34 −0.2
−0.4
406-AH 56.61 431-AH 54.47
−0.6
407-AH 14.70 432-AH 32.63
−0.8
408-AH 89.89 433-AH 91.85
−1
409-AH 25.05 434-AH 92.55 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.08 435-AH 17.63
411-AH 0.70 436-AH 0.03
412-AH 11.01 437-AH 75.50 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOHUTDN4
413-AH 46.74 438-AH 25.53 0.8
414-AH 32.38 439-AH 7.26 0.6
415-AH 50.76 440-AH 62.98 0.4
416-AH 21.96 441-AH 98.38 0.2
Difference
417-AH 5.53 442-AH 67.88 0
418-AH 57.88 443-AH 29.87 −0.2
−0.4
419-AH 22.50 444-AH 27.34
−0.6
420-AH 49.13 445-AH 100.00
−0.8
421-AH 36.91 446-AH 5.27
−1
422-AH 16.75 447-AH 91.65 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.49 448-AH 53.93
424-AH 38.39 449-AH 63.09
425-AH 17.44 450-AH 3.40
380
jhu-apl 10.2415/AH-MONO-HU-CLEF2007.JHU-APL.APLMOHUTDN4 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 47.60 APLMOHUTDN4
10 docs 42.20 90%
15 docs 38.00
80%
20 docs 34.70
30 docs 28.53 70%
100 docs 13.22
60%
200 docs 7.56
Precision
500 docs 3.34 50%
1000 docs 1.73 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.93
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1429
Second Quartile 0.3030
Third Quartile 0.5385
Interquartile range 0.3956 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3693
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2682 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3693 4
3
Std With No Outliers 0.2682
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOHUTDN4
0.8
401-AH 34.48 426-AH 12.50 0.6
402-AH 57.14 427-AH 21.43 0.4
403-AH 8.33 428-AH 50.00 0.2
Difference
404-AH 33.33 429-AH 7.69 0
405-AH 25.00 430-AH 22.22 −0.2
−0.4
406-AH 48.28 431-AH 48.48
−0.6
407-AH 12.50 432-AH 25.00
−0.8
408-AH 74.19 433-AH 83.72
−1
409-AH 25.00 434-AH 83.33 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 23.33
411-AH 0.00 436-AH 0.00
412-AH 10.81 437-AH 65.38 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOHUTDN4
413-AH 54.17 438-AH 26.47 0.8
414-AH 25.00 439-AH 14.29 0.6
415-AH 56.06 440-AH 53.85 0.4
416-AH 27.27 441-AH 86.67 0.2
Difference
417-AH 0.00 442-AH 66.67 0
418-AH 52.63 443-AH 37.04 −0.2
−0.4
419-AH 0.00 444-AH 25.00
−0.6
420-AH 47.62 445-AH 100.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 27.12 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 33.33 449-AH 48.15
425-AH 14.29 450-AH 0.00
381
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07T AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title
Relevant retrieved 771 Pooled true
Geometric Mean Average Precision 0.1575 Title-only, dropped accents, fusion of 4-grams and
Binary Preference (BPREF) 0.3068 UniNE stemmer
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.16 OTHU07T
10 57.28 90%
20 48.76
80%
30 40.94
40 37.78 70%
50 34.02
60%
60 29.08
Precision
70 23.74 50%
80 16.92 40%
90 14.70
30%
100 12.62
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9519
Minimum 0.0000
First Quartile 0.1059
Second Quartile 0.2438
Third Quartile 0.5038
Interquartile range 0.3979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3291
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2766 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.9519 4
Mean With No Outliers 0.3291 3
Std With No Outliers 0.2766 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07T
0.8
401-AH 13.96 426-AH 0.00 0.6
402-AH 47.93 427-AH 10.59 0.4
403-AH 2.30 428-AH 49.26 0.2
Difference
404-AH 21.81 429-AH 11.13 0
405-AH 45.65 430-AH 0.28 −0.2
−0.4
406-AH 20.36 431-AH 20.39
−0.6
407-AH 50.38 432-AH 33.10
−0.8
408-AH 82.91 433-AH 51.23
−1
409-AH 17.47 434-AH 63.66 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 54.66 435-AH 9.38
411-AH 0.46 436-AH 1.18
412-AH 25.23 437-AH 32.53 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTHU07T
413-AH 56.40 438-AH 6.65 0.8
414-AH 76.61 439-AH 5.19 0.6
415-AH 23.53 440-AH 26.90 0.4
416-AH 41.26 441-AH 89.63 0.2
Difference
417-AH 6.61 442-AH 80.89 0
418-AH 66.43 443-AH 12.76 −0.2
−0.4
419-AH 16.99 444-AH 37.30
−0.6
420-AH 17.87 445-AH 91.67
−0.8
421-AH 48.46 446-AH 0.93
−1
422-AH 5.18 447-AH 95.19 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 27.72 448-AH 71.67
424-AH 20.75 449-AH 34.07
425-AH 6.12 450-AH 12.80
382
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07T AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 43.60 OTHU07T
10 docs 35.80 90%
15 docs 32.27
80%
20 docs 29.00
30 docs 24.27 70%
100 docs 10.10
60%
200 docs 5.85
Precision
500 docs 2.78 50%
1000 docs 1.54 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.97
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8667
Minimum 0.0000
First Quartile 0.1538
Second Quartile 0.2808
Third Quartile 0.5238
Interquartile range 0.3700 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3397
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2448 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8667 5
Mean With No Outliers 0.3397 4
3
Std With No Outliers 0.2448
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07T
0.8
401-AH 17.24 426-AH 0.00 0.6
402-AH 52.38 427-AH 7.14 0.4
403-AH 0.00 428-AH 64.29 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 50.00 430-AH 0.00 −0.2
−0.4
406-AH 27.59 431-AH 27.27
−0.6
407-AH 62.50 432-AH 25.00
−0.8
408-AH 74.19 433-AH 53.49
−1
409-AH 25.00 434-AH 66.67 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 45.45 435-AH 30.00
411-AH 0.00 436-AH 0.00
412-AH 32.43 437-AH 38.46 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTHU07T
413-AH 58.33 438-AH 17.65 0.8
414-AH 75.00 439-AH 14.29 0.6
415-AH 31.82 440-AH 15.38 0.4
416-AH 45.45 441-AH 86.67 0.2
Difference
417-AH 18.18 442-AH 66.67 0
418-AH 57.89 443-AH 25.93 −0.2
−0.4
419-AH 0.00 444-AH 37.50
−0.6
420-AH 28.57 445-AH 75.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 6.78 447-AH 78.26 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 22.22 449-AH 48.15
425-AH 14.29 450-AH 23.08
383
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07TD AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 818 Pooled true
Geometric Mean Average Precision 0.2442 dropped accents, fusion of 4-grams and UniNE
Binary Preference (BPREF) 0.3562 stemmer
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 73.48 OTHU07TD
10 64.28 90%
20 54.84
80%
30 49.44
40 44.74 70%
50 41.20
60%
60 34.12
Precision
70 29.21 50%
80 21.58 40%
90 17.65
30%
100 14.83
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.48 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0039
First Quartile 0.1546
Second Quartile 0.3287
Third Quartile 0.5490
Interquartile range 0.3944 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3848
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2793 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0039 5
Upper Outlier Threshold 1.0000 4
Mean With No Outliers 0.3848 3
Std With No Outliers 0.2793 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07TD
0.8
401-AH 16.00 426-AH 1.91 0.6
402-AH 54.90 427-AH 19.56 0.4
403-AH 4.33 428-AH 50.82 0.2
Difference
404-AH 21.39 429-AH 11.96 0
405-AH 28.67 430-AH 13.49 −0.2
−0.4
406-AH 35.97 431-AH 31.28
−0.6
407-AH 51.20 432-AH 32.27
−0.8
408-AH 36.14 433-AH 77.68
−1
409-AH 33.47 434-AH 70.71 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.44 435-AH 16.84
411-AH 0.50 436-AH 0.39
412-AH 29.09 437-AH 68.42 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTHU07TD
413-AH 51.40 438-AH 14.44 0.8
414-AH 75.00 439-AH 5.18 0.6
415-AH 31.02 440-AH 28.15 0.4
416-AH 50.96 441-AH 86.04 0.2
Difference
417-AH 4.71 442-AH 94.32 0
418-AH 69.51 443-AH 15.46 −0.2
−0.4
419-AH 24.36 444-AH 36.73
−0.6
420-AH 35.27 445-AH 100.00
−0.8
421-AH 64.16 446-AH 2.66
−1
422-AH 24.46 447-AH 95.19 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 34.29 448-AH 75.00
424-AH 43.14 449-AH 53.44
425-AH 12.55 450-AH 10.96
384
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07TD AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 50.80 OTHU07TD
10 docs 42.80 90%
15 docs 37.73
80%
20 docs 32.50
30 docs 26.80 70%
100 docs 11.86
60%
200 docs 6.73
Precision
500 docs 3.07 50%
1000 docs 1.64 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.73
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.3229
Third Quartile 0.5714
Interquartile range 0.3714 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3873
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2645 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 1.0000 4
Mean With No Outliers 0.3873 3
Std With No Outliers 0.2645 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07TD
0.8
401-AH 31.03 426-AH 0.00 0.6
402-AH 52.38 427-AH 21.43 0.4
403-AH 8.33 428-AH 57.14 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 25.00 430-AH 11.11 −0.2
−0.4
406-AH 31.03 431-AH 27.27
−0.6
407-AH 62.50 432-AH 25.00
−0.8
408-AH 38.71 433-AH 74.42
−1
409-AH 50.00 434-AH 70.83 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.73 435-AH 33.33
411-AH 0.00 436-AH 0.00
412-AH 29.73 437-AH 65.38 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTHU07TD
413-AH 50.00 438-AH 23.53 0.8
414-AH 75.00 439-AH 14.29 0.6
415-AH 40.91 440-AH 30.77 0.4
416-AH 54.55 441-AH 86.67 0.2
Difference
417-AH 0.00 442-AH 88.89 0
418-AH 57.89 443-AH 14.81 −0.2
−0.4
419-AH 0.00 444-AH 31.25
−0.6
420-AH 47.62 445-AH 100.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 37.29 447-AH 78.26 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 44.44 449-AH 51.85
425-AH 28.57 450-AH 15.38
385
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07TDE AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 845 Pooled false
Geometric Mean Average Precision 0.2881 blind feedback run (50% weight on first 3 rows of
Binary Preference (BPREF) 0.4069 otHU07td)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 75.37 OTHU07TDE
10 67.28 90%
20 61.75
80%
30 56.08
40 52.12 70%
50 48.33
60%
60 40.20
Precision
70 35.20 50%
80 24.79 40%
90 18.76
30%
100 14.02
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
43.34 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9610
Minimum 0.0022
First Quartile 0.2236
Second Quartile 0.4552
Third Quartile 0.6370
Interquartile range 0.4134 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4334
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2717 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0022
6
Upper Outlier Threshold 0.9610 5
Mean With No Outliers 0.4334 4
3
Std With No Outliers 0.2717
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07TDE
0.8
401-AH 22.36 426-AH 5.07 0.6
402-AH 55.06 427-AH 28.95 0.4
403-AH 3.49 428-AH 52.78 0.2
Difference
404-AH 35.75 429-AH 11.70 0
405-AH 33.78 430-AH 7.50 −0.2
−0.4
406-AH 46.16 431-AH 58.65
−0.6
407-AH 63.70 432-AH 39.46
−0.8
408-AH 72.55 433-AH 83.97
−1
409-AH 47.23 434-AH 71.25 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 82.11 435-AH 20.83
411-AH 2.33 436-AH 0.22
412-AH 28.28 437-AH 57.43 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTHU07TDE
413-AH 46.82 438-AH 28.06 0.8
414-AH 75.00 439-AH 9.55 0.6
415-AH 45.64 440-AH 43.55 0.4
416-AH 45.39 441-AH 88.93 0.2
Difference
417-AH 4.69 442-AH 92.00 0
418-AH 66.99 443-AH 38.62 −0.2
−0.4
419-AH 35.00 444-AH 48.54
−0.6
420-AH 47.40 445-AH 83.33
−0.8
421-AH 56.19 446-AH 2.35
−1
422-AH 29.90 447-AH 96.10 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 27.69 448-AH 73.51
424-AH 67.92 449-AH 63.08
425-AH 15.50 450-AH 4.78
386
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07TDE AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 53.20 OTHU07TDE
10 docs 46.60 90%
15 docs 42.93
80%
20 docs 38.70
30 docs 31.40 70%
100 docs 13.16
60%
200 docs 7.33
Precision
500 docs 3.25 50%
1000 docs 1.69 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
43.51
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.2500
Second Quartile 0.4530
Third Quartile 0.6250
Interquartile range 0.3750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4351
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2546 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8889 4
Mean With No Outliers 0.4351 3
Std With No Outliers 0.2546 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07TDE
0.8
401-AH 31.03 426-AH 0.00 0.6
402-AH 57.14 427-AH 35.71 0.4
403-AH 8.33 428-AH 57.14 0.2
Difference
404-AH 33.33 429-AH 23.08 0
405-AH 25.00 430-AH 11.11 −0.2
−0.4
406-AH 48.28 431-AH 54.55
−0.6
407-AH 62.50 432-AH 25.00
−0.8
408-AH 70.97 433-AH 76.74
−1
409-AH 50.00 434-AH 70.83 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 36.67
411-AH 0.00 436-AH 0.00
412-AH 32.43 437-AH 53.85 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTHU07TDE
413-AH 37.50 438-AH 38.24 0.8
414-AH 75.00 439-AH 14.29 0.6
415-AH 50.00 440-AH 46.15 0.4
416-AH 54.55 441-AH 86.67 0.2
Difference
417-AH 0.00 442-AH 88.89 0
418-AH 63.16 443-AH 44.44 −0.2
−0.4
419-AH 50.00 444-AH 43.75
−0.6
420-AH 61.90 445-AH 75.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 35.59 447-AH 82.61 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 66.67 449-AH 55.56
425-AH 21.43 450-AH 3.85
387
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07TDNZ AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description, narrative
Relevant retrieved 840 Pooled true
Geometric Mean Average Precision 0.2078 depth-10000 sampling run (orig ranks in first 5
Binary Preference (BPREF) 0.2743 decimal places of rsv)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 75.33 OTHU07TDNZ
10 67.29 90%
20 53.19
80%
30 43.13
40 31.02 70%
50 27.32
60%
60 21.63
Precision
70 17.32 50%
80 12.23 40%
90 9.12
30%
100 6.80
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
30.53 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0032
First Quartile 0.1401
Second Quartile 0.2513
Third Quartile 0.4206
Interquartile range 0.2805 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3053
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2196 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0032 8
Upper Outlier Threshold 0.7500
6
Mean With No Outliers 0.2787
4
Std With No Outliers 0.1791
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07TDNZ
0.8
401-AH 12.59 426-AH 1.85 0.6
402-AH 47.54 427-AH 14.01 0.4
403-AH 4.99 428-AH 47.91 0.2
Difference
404-AH 21.88 429-AH 12.53 0
405-AH 29.03 430-AH 15.32 −0.2
−0.4
406-AH 32.87 431-AH 24.03
−0.6
407-AH 51.03 432-AH 24.36
−0.8
408-AH 46.49 433-AH 40.81
−1
409-AH 35.65 434-AH 41.01 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 41.69 435-AH 8.85
411-AH 0.32 436-AH 4.17
412-AH 25.03 437-AH 42.06 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OTHU07TDNZ
413-AH 30.65 438-AH 20.52 0.8
414-AH 75.00 439-AH 5.66 0.6
415-AH 24.51 440-AH 22.61 0.4
416-AH 25.24 441-AH 60.52 0.2
Difference
417-AH 3.80 442-AH 88.62 0
418-AH 52.33 443-AH 20.45 −0.2
−0.4
419-AH 30.95 444-AH 26.87
−0.6
420-AH 21.96 445-AH 100.00
−0.8
421-AH 44.12 446-AH 1.11
−1
422-AH 20.16 447-AH 54.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 23.30 448-AH 61.38
424-AH 27.03 449-AH 39.57
425-AH 9.80 450-AH 10.03
388
opentext 10.2415/AH-MONO-HU-CLEF2007.OPENTEXT.OTHU07TDNZ AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 53.20 OTHU07TDNZ
10 docs 44.40 90%
15 docs 33.20
80%
20 docs 25.80
30 docs 17.47 70%
100 docs 6.40
60%
200 docs 6.86
Precision
500 docs 3.20 50%
1000 docs 1.68 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
30.99
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1818
Second Quartile 0.2574
Third Quartile 0.3810
Interquartile range 0.1991 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3099
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2209 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.6250 5
Mean With No Outliers 0.2631 4
3
Std With No Outliers 0.1558
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OTHU07TDNZ
0.8
401-AH 17.24 426-AH 0.00 0.6
402-AH 38.10 427-AH 21.43 0.4
403-AH 8.33 428-AH 50.00 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 25.00 430-AH 33.33 −0.2
−0.4
406-AH 31.03 431-AH 18.18
−0.6
407-AH 62.50 432-AH 41.67
−0.8
408-AH 35.48 433-AH 32.56
−1
409-AH 50.00 434-AH 37.50 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 31.82 435-AH 13.33
411-AH 0.00 436-AH 0.00
412-AH 21.62 437-AH 34.62 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OTHU07TDNZ
413-AH 33.33 438-AH 26.47 0.8
414-AH 75.00 439-AH 14.29 0.6
415-AH 18.18 440-AH 23.08 0.4
416-AH 36.36 441-AH 60.00 0.2
Difference
417-AH 9.09 442-AH 88.89 0
418-AH 52.63 443-AH 18.52 −0.2
−0.4
419-AH 0.00 444-AH 25.00
−0.6
420-AH 23.81 445-AH 100.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 18.64 447-AH 43.48 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 27.78 449-AH 33.33
425-AH 21.43 450-AH 19.23
389
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU1 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 890 Pooled true
Geometric Mean Average Precision 0.2867 LM & PB2 & GL2
Binary Preference (BPREF) 0.4178
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 78.29 UNINEHU1
10 70.60 90%
20 61.46
80%
30 55.29
40 52.28 70%
50 50.16
60%
60 42.63
Precision
70 37.86 50%
80 31.25 40%
90 26.38
30%
100 20.42
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
46.06 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9830
Minimum 0.0000
First Quartile 0.2624
Second Quartile 0.4303
Third Quartile 0.6340
Interquartile range 0.3715 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4606
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2716 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9830 5
Mean With No Outliers 0.4606 4
3
Std With No Outliers 0.2716
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU1
0.8
401-AH 44.70 426-AH 4.01 0.6
402-AH 60.78 427-AH 39.51 0.4
403-AH 23.47 428-AH 61.67 0.2
Difference
404-AH 26.24 429-AH 29.90 0
405-AH 31.74 430-AH 13.25 −0.2
−0.4
406-AH 47.22 431-AH 63.40
−0.6
407-AH 72.34 432-AH 30.64
−0.8
408-AH 88.15 433-AH 92.92
−1
409-AH 19.77 434-AH 81.97 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 85.35 435-AH 33.51
411-AH 3.33 436-AH 0.00
412-AH 33.50 437-AH 48.20 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU1
413-AH 51.88 438-AH 45.84 0.8
414-AH 56.38 439-AH 18.24 0.6
415-AH 45.08 440-AH 61.90 0.4
416-AH 40.90 441-AH 98.30 0.2
Difference
417-AH 34.05 442-AH 87.00 0
418-AH 65.96 443-AH 61.01 −0.2
−0.4
419-AH 23.61 444-AH 31.03
−0.6
420-AH 41.36 445-AH 95.00
−0.8
421-AH 39.39 446-AH 0.22
−1
422-AH 31.32 447-AH 96.92 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 24.67 448-AH 66.50
424-AH 77.33 449-AH 46.54
425-AH 12.15 450-AH 14.98
390
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU1 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 52.00 UNINEHU1
10 docs 46.60 90%
15 docs 42.67
80%
20 docs 38.90
30 docs 33.40 70%
100 docs 14.74
60%
200 docs 8.16
Precision
500 docs 3.49 50%
1000 docs 1.78 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
43.54
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.2500
Second Quartile 0.4549
Third Quartile 0.5714
Interquartile range 0.3214 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4354
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2518 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.9333 4
Mean With No Outliers 0.4354 3
Std With No Outliers 0.2518 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU1
0.8
401-AH 55.17 426-AH 0.00 0.6
402-AH 61.90 427-AH 35.71 0.4
403-AH 25.00 428-AH 57.14 0.2
Difference
404-AH 22.22 429-AH 23.08 0
405-AH 50.00 430-AH 11.11 −0.2
−0.4
406-AH 44.83 431-AH 54.55
−0.6
407-AH 62.50 432-AH 25.00
−0.8
408-AH 80.65 433-AH 86.05
−1
409-AH 25.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 40.00
411-AH 0.00 436-AH 0.00
412-AH 35.14 437-AH 46.15 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU1
413-AH 54.17 438-AH 47.06 0.8
414-AH 50.00 439-AH 14.29 0.6
415-AH 46.97 440-AH 61.54 0.4
416-AH 36.36 441-AH 93.33 0.2
Difference
417-AH 27.27 442-AH 88.89 0
418-AH 52.63 443-AH 55.56 −0.2
−0.4
419-AH 0.00 444-AH 37.50
−0.6
420-AH 47.62 445-AH 75.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 40.68 447-AH 82.61 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 72.22 449-AH 44.44
425-AH 21.43 450-AH 15.38
391
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU2 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 898 Pooled true
Geometric Mean Average Precision 0.3063 LM & GL2 & Okapi
Binary Preference (BPREF) 0.4356
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 79.35 UNINEHU2
10 71.09 90%
20 62.72
80%
30 55.22
40 52.03 70%
50 50.94
60%
60 44.78
Precision
70 39.73 50%
80 33.53 40%
90 27.19
30%
100 21.39
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
47.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9914
Minimum 0.0000
First Quartile 0.2914
Second Quartile 0.4482
Third Quartile 0.6388
Interquartile range 0.3474 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4716
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2711 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 4
Upper Outlier Threshold 0.9914
3
Mean With No Outliers 0.4716
2
Std With No Outliers 0.2711
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU2
0.8
401-AH 49.09 426-AH 3.37 0.6
402-AH 60.43 427-AH 39.99 0.4
403-AH 20.79 428-AH 63.88 0.2
Difference
404-AH 28.06 429-AH 29.38 0
405-AH 31.39 430-AH 20.84 −0.2
−0.4
406-AH 46.01 431-AH 63.59
−0.6
407-AH 81.06 432-AH 29.64
−0.8
408-AH 88.32 433-AH 92.53
−1
409-AH 18.61 434-AH 80.71 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 84.23 435-AH 35.51
411-AH 4.35 436-AH 0.00
412-AH 31.31 437-AH 46.58 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU2
413-AH 53.24 438-AH 46.74 0.8
414-AH 55.72 439-AH 16.54 0.6
415-AH 42.91 440-AH 66.34 0.4
416-AH 46.63 441-AH 99.14 0.2
Difference
417-AH 38.80 442-AH 87.00 0
418-AH 66.99 443-AH 61.66 −0.2
−0.4
419-AH 21.11 444-AH 40.79
−0.6
420-AH 43.64 445-AH 95.00
−0.8
421-AH 37.04 446-AH 1.47
−1
422-AH 37.92 447-AH 97.46 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 29.14 448-AH 60.37
424-AH 77.06 449-AH 59.00
425-AH 13.62 450-AH 13.18
392
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU2 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 52.80 UNINEHU2
10 docs 48.40 90%
15 docs 43.20
80%
20 docs 40.30
30 docs 34.73 70%
100 docs 14.66
60%
200 docs 8.22
Precision
500 docs 3.54 50%
1000 docs 1.80 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
45.29
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.2500
Second Quartile 0.4754
Third Quartile 0.6429
Interquartile range 0.3929 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4529
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2555 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9333 5
Mean With No Outliers 0.4529 4
3
Std With No Outliers 0.2555
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU2
0.8
401-AH 55.17 426-AH 0.00 0.6
402-AH 66.67 427-AH 35.71 0.4
403-AH 25.00 428-AH 64.29 0.2
Difference
404-AH 22.22 429-AH 23.08 0
405-AH 50.00 430-AH 33.33 −0.2
−0.4
406-AH 41.38 431-AH 54.55
−0.6
407-AH 75.00 432-AH 25.00
−0.8
408-AH 83.87 433-AH 83.72
−1
409-AH 25.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 43.33
411-AH 0.00 436-AH 0.00
412-AH 29.73 437-AH 50.00 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU2
413-AH 54.17 438-AH 50.00 0.8
414-AH 50.00 439-AH 14.29 0.6
415-AH 46.97 440-AH 61.54 0.4
416-AH 45.45 441-AH 93.33 0.2
Difference
417-AH 36.36 442-AH 88.89 0
418-AH 52.63 443-AH 55.56 −0.2
−0.4
419-AH 0.00 444-AH 37.50
−0.6
420-AH 47.62 445-AH 75.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 47.46 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 50.00
424-AH 66.67 449-AH 66.67
425-AH 14.29 450-AH 15.38
393
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU3 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description
Relevant retrieved 898 Pooled false
Geometric Mean Average Precision 0.2885 LM & GL2 & PB2
Binary Preference (BPREF) 0.4168
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 78.78 UNINEHU3
10 71.60 90%
20 60.81
80%
30 55.59
40 51.84 70%
50 49.57
60%
60 42.87
Precision
70 38.44 50%
80 31.57 40%
90 25.55
30%
100 20.23
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
45.86 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9866
Minimum 0.0000
First Quartile 0.2930
Second Quartile 0.4182
Third Quartile 0.5853
Interquartile range 0.2922 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4586
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2690 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.9866 4
Mean With No Outliers 0.4586 3
Std With No Outliers 0.2690 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU3
0.8
401-AH 33.93 426-AH 3.39 0.6
402-AH 58.53 427-AH 37.75 0.4
403-AH 21.76 428-AH 70.86 0.2
Difference
404-AH 30.48 429-AH 29.60 0
405-AH 29.30 430-AH 31.13 −0.2
−0.4
406-AH 47.57 431-AH 53.09
−0.6
407-AH 49.51 432-AH 33.01
−0.8
408-AH 92.24 433-AH 91.76
−1
409-AH 21.82 434-AH 93.61 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 85.36 435-AH 32.27
411-AH 1.61 436-AH 0.00
412-AH 28.20 437-AH 48.99 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU3
413-AH 56.09 438-AH 41.19 0.8
414-AH 55.97 439-AH 18.02 0.6
415-AH 42.81 440-AH 56.84 0.4
416-AH 42.44 441-AH 98.66 0.2
Difference
417-AH 31.61 442-AH 90.11 0
418-AH 65.95 443-AH 52.01 −0.2
−0.4
419-AH 23.61 444-AH 28.07
−0.6
420-AH 44.07 445-AH 81.67
−0.8
421-AH 37.23 446-AH 0.54
−1
422-AH 40.83 447-AH 96.72 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 29.79 448-AH 74.63
424-AH 77.20 449-AH 53.97
425-AH 11.80 450-AH 15.17
394
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU3 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 52.00 UNINEHU3
10 docs 47.40 90%
15 docs 42.80
80%
20 docs 39.30
30 docs 33.27 70%
100 docs 14.66
60%
200 docs 8.23
Precision
500 docs 3.53 50%
1000 docs 1.80 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
42.89
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.2308
Second Quartile 0.4464
Third Quartile 0.5455
Interquartile range 0.3147 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4289
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2520 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9333 5
Mean With No Outliers 0.4289 4
3
Std With No Outliers 0.2520
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU3
0.8
401-AH 41.38 426-AH 0.00 0.6
402-AH 61.90 427-AH 28.57 0.4
403-AH 16.67 428-AH 64.29 0.2
Difference
404-AH 22.22 429-AH 23.08 0
405-AH 25.00 430-AH 22.22 −0.2
−0.4
406-AH 44.83 431-AH 48.48
−0.6
407-AH 50.00 432-AH 25.00
−0.8
408-AH 80.65 433-AH 83.72
−1
409-AH 25.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 43.33
411-AH 0.00 436-AH 0.00
412-AH 32.43 437-AH 50.00 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU3
413-AH 54.17 438-AH 47.06 0.8
414-AH 50.00 439-AH 14.29 0.6
415-AH 46.97 440-AH 53.85 0.4
416-AH 54.55 441-AH 93.33 0.2
Difference
417-AH 27.27 442-AH 88.89 0
418-AH 57.89 443-AH 48.15 −0.2
−0.4
419-AH 0.00 444-AH 37.50
−0.6
420-AH 42.86 445-AH 50.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 44.07 447-AH 82.61 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 77.78 449-AH 51.85
425-AH 21.43 450-AH 15.38
395
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU4 AH-MONO-HU-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hungarian
Relevant 911 Topic Fields title, description, narrative
Relevant retrieved 898 Pooled true
Geometric Mean Average Precision 0.3066 LM & GL2 & PB2
Binary Preference (BPREF) 0.4386
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 80.63 UNINEHU4
10 73.59 90%
20 64.72
80%
30 57.74
40 52.41 70%
50 50.82
60%
60 45.36
Precision
70 40.95 50%
80 31.79 40%
90 26.33
30%
100 19.74
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
47.73 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9889
Minimum 0.0000
First Quartile 0.2687
Second Quartile 0.4923
Third Quartile 0.6446
Interquartile range 0.3759 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4773
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2723 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 4
Upper Outlier Threshold 0.9889
3
Mean With No Outliers 0.4773
2
Std With No Outliers 0.2723
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU4
0.8
401-AH 48.77 426-AH 4.31 0.6
402-AH 65.02 427-AH 31.08 0.4
403-AH 18.27 428-AH 58.42 0.2
Difference
404-AH 26.87 429-AH 38.28 0
405-AH 23.40 430-AH 29.67 −0.2
−0.4
406-AH 55.01 431-AH 56.60
−0.6
407-AH 66.74 432-AH 33.03
−0.8
408-AH 92.53 433-AH 93.86
−1
409-AH 26.92 434-AH 86.45 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.20 435-AH 32.48
411-AH 3.57 436-AH 0.00
412-AH 27.30 437-AH 60.94 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU4
413-AH 54.91 438-AH 47.88 0.8
414-AH 75.50 439-AH 17.19 0.6
415-AH 50.53 440-AH 64.46 0.4
416-AH 44.01 441-AH 98.89 0.2
Difference
417-AH 12.96 442-AH 82.78 0
418-AH 64.25 443-AH 57.47 −0.2
−0.4
419-AH 21.11 444-AH 39.79
−0.6
420-AH 50.77 445-AH 95.00
−0.8
421-AH 49.68 446-AH 1.00
−1
422-AH 45.02 447-AH 97.29 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 26.69 448-AH 63.86
424-AH 73.61 449-AH 60.67
425-AH 23.01 450-AH 10.58
396
unine 10.2415/AH-MONO-HU-CLEF2007.UNINE.UNINEHU4 AH-MONO-HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 56.80 UNINEHU4
10 docs 49.20 90%
15 docs 43.60
80%
20 docs 40.30
30 docs 34.80 70%
100 docs 14.82
60%
200 docs 8.11
Precision
500 docs 3.51 50%
1000 docs 1.80 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
45.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9333
Minimum 0.0000
First Quartile 0.2500
Second Quartile 0.4788
Third Quartile 0.6190
Interquartile range 0.3690 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4574
Ad−Hoc Monolingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2634 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9333 5
Mean With No Outliers 0.4574 4
3
Std With No Outliers 0.2634
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UNINEHU4
0.8
401-AH 55.17 426-AH 0.00 0.6
402-AH 61.90 427-AH 35.71 0.4
403-AH 25.00 428-AH 57.14 0.2
Difference
404-AH 22.22 429-AH 38.46 0
405-AH 25.00 430-AH 33.33 −0.2
−0.4
406-AH 55.17 431-AH 57.58
−0.6
407-AH 50.00 432-AH 25.00
−0.8
408-AH 83.87 433-AH 86.05
−1
409-AH 25.00 434-AH 79.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 40.00
411-AH 0.00 436-AH 0.00
412-AH 24.32 437-AH 61.54 1
Ad−Hoc Monolingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UNINEHU4
413-AH 58.33 438-AH 44.12 0.8
414-AH 75.00 439-AH 14.29 0.6
415-AH 54.55 440-AH 61.54 0.4
416-AH 36.36 441-AH 93.33 0.2
Difference
417-AH 18.18 442-AH 88.89 0
418-AH 57.89 443-AH 55.56 −0.2
−0.4
419-AH 0.00 444-AH 31.25
−0.6
420-AH 61.90 445-AH 75.00
−0.8
421-AH 44.44 446-AH 0.00
−1
422-AH 45.76 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 66.67 449-AH 62.96
425-AH 28.57 450-AH 11.54
397
bombay-ltrc 10.2415/AH-MONO-EN-CLEF2007.BOMBAY-LTRC.IITB_MONO_TITLE AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 10
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,829 Pooled true
Geometric Mean Average Precision 0.2941 English Monolingual with title only (BM25 b=0.75)
Binary Preference (BPREF) 0.3701
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 76.95 IITB_MONO_TITLE
10 65.00 90%
20 58.99
80%
30 52.89
40 48.91 70%
50 42.68
60%
60 32.21
Precision
70 27.59 50%
80 20.63 40%
90 14.11
30%
100 8.49
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.56 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0233
First Quartile 0.1892
Second Quartile 0.3809
Third Quartile 0.5483
Interquartile range 0.3591 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3856
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2314 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0233
6
Upper Outlier Threshold 0.9762 5
Mean With No Outliers 0.3856 4
3
Std With No Outliers 0.2314
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MONO_TITLE
0.8
401-AH 45.82 426-AH 7.13 0.6
402-AH 46.98 427-AH 54.83 0.4
403-AH 5.53 428-AH 2.33 0.2
Difference
404-AH 33.33 429-AH 18.92 0
405-AH 37.82 430-AH 49.55 −0.2
−0.4
406-AH 8.12 431-AH 38.36
−0.6
407-AH 41.66 432-AH 25.82
−0.8
408-AH 34.49 433-AH 75.03
−1
409-AH 52.01 434-AH 72.15 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 65.08 435-AH 57.08
411-AH 7.60 436-AH 16.93
412-AH 9.28 437-AH 56.97 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_MONO_TITLE
413-AH 28.47 438-AH 10.75 0.8
414-AH 77.08 439-AH 9.47 0.6
415-AH 28.58 440-AH 23.08 0.4
416-AH 71.12 441-AH 64.90 0.2
Difference
417-AH 21.18 442-AH 54.13 0
418-AH 57.89 443-AH 50.46 −0.2
−0.4
419-AH 48.44 444-AH 38.84
−0.6
420-AH 32.80 445-AH 62.50
−0.8
421-AH 68.51 446-AH 45.24
−1
422-AH 5.73 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 11.11 448-AH 50.19
424-AH 34.83 449-AH 27.48
425-AH 8.53 450-AH 36.19
398
bombay-ltrc 10.2415/AH-MONO-EN-CLEF2007.BOMBAY-LTRC.IITB_MONO_TITLE AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 54.40 IITB_MONO_TITLE
10 docs 45.60 90%
15 docs 42.53
80%
20 docs 39.10
30 docs 34.80 70%
100 docs 19.80
60%
200 docs 13.19
Precision
500 docs 6.64 50%
1000 docs 3.66 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.20
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2203
Second Quartile 0.4000
Third Quartile 0.5161
Interquartile range 0.2958 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3820
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2186 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3820
4
Std With No Outliers 0.2186
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MONO_TITLE
0.8
401-AH 50.00 426-AH 15.49 0.6
402-AH 46.77 427-AH 50.00 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 42.86 430-AH 51.61 −0.2
−0.4
406-AH 14.29 431-AH 40.00
−0.6
407-AH 43.48 432-AH 29.17
−0.8
408-AH 38.89 433-AH 70.59
−1
409-AH 57.89 434-AH 67.57 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.83 435-AH 60.53
411-AH 0.00 436-AH 25.64
412-AH 22.22 437-AH 59.17 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_MONO_TITLE
413-AH 26.67 438-AH 13.33 0.8
414-AH 75.00 439-AH 14.10 0.6
415-AH 38.03 440-AH 22.22 0.4
416-AH 66.67 441-AH 55.56 0.2
Difference
417-AH 27.37 442-AH 50.00 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 52.17 444-AH 36.00
−0.6
420-AH 36.96 445-AH 50.00
−0.8
421-AH 50.00 446-AH 41.67
−1
422-AH 12.75 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 34.38
425-AH 5.41 450-AH 40.00
399
bombay-ltrc 10.2415/AH-MONO-EN-CLEF2007.BOMBAY-LTRC.IITB_MONO_TITLE_DESC AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 11
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,970 Pooled false
Geometric Mean Average Precision 0.3748 English Monolingual with Title and Desc (BM25
Binary Preference (BPREF) 0.4176 b=0.75)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 85.77 IITB_MONO_TITLE_DESC
10 71.71 90%
20 67.01
80%
30 59.94
40 52.21 70%
50 47.09
60%
60 38.20
Precision
70 33.28 50%
80 24.62 40%
90 17.06
30%
100 11.00
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
44.02 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0573
First Quartile 0.2728
Second Quartile 0.4561
Third Quartile 0.5846
Interquartile range 0.3118 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4402
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2121 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0573
6
Upper Outlier Threshold 0.9762 5
Mean With No Outliers 0.4402 4
3
Std With No Outliers 0.2121
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries IITB_MONO_TITLE_DESC
0.8
401-AH 45.71 426-AH 19.15 0.6
402-AH 50.46 427-AH 31.51 0.4
403-AH 20.72 428-AH 50.86 0.2
Difference
404-AH 50.00 429-AH 40.46 0
405-AH 55.84 430-AH 56.45 −0.2
−0.4
406-AH 26.22 431-AH 37.42
−0.6
407-AH 41.66 432-AH 25.76
−0.8
408-AH 54.07 433-AH 79.90
−1
409-AH 51.96 434-AH 72.56 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.31 435-AH 64.44
411-AH 8.82 436-AH 25.85
412-AH 9.28 437-AH 66.48 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
IITB_MONO_TITLE_DESC
413-AH 33.46 438-AH 19.94 0.8
414-AH 85.42 439-AH 7.85 0.6
415-AH 36.19 440-AH 33.38 0.4
416-AH 69.78 441-AH 65.91 0.2
Difference
417-AH 27.31 442-AH 58.63 0
418-AH 67.95 443-AH 44.34 −0.2
−0.4
419-AH 52.92 444-AH 41.05
−0.6
420-AH 45.51 445-AH 60.87
−0.8
421-AH 58.46 446-AH 51.03
−1
422-AH 5.73 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 11.11 448-AH 49.84
424-AH 47.20 449-AH 27.28
425-AH 17.11 450-AH 36.19
400
bombay-ltrc 10.2415/AH-MONO-EN-CLEF2007.BOMBAY-LTRC.IITB_MONO_TITLE_DESC AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 59.60 IITB_MONO_TITLE_DESC
10 docs 50.40 90%
15 docs 45.73
80%
20 docs 42.70
30 docs 37.67 70%
100 docs 22.22
60%
200 docs 14.77
Precision
500 docs 7.34 50%
1000 docs 3.94 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
43.30
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.3125
Second Quartile 0.4161
Third Quartile 0.5833
Interquartile range 0.2708 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4330
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2074 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.4330 4
3
Std With No Outliers 0.2074
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MONO_TITLE_DESC
0.8
401-AH 33.33 426-AH 27.23 0.6
402-AH 48.39 427-AH 31.25 0.4
403-AH 24.64 428-AH 45.45 0.2
Difference
404-AH 0.00 429-AH 42.37 0
405-AH 47.62 430-AH 48.39 −0.2
−0.4
406-AH 28.57 431-AH 40.00
−0.6
407-AH 43.48 432-AH 29.17
−0.8
408-AH 38.89 433-AH 73.33
−1
409-AH 52.63 434-AH 67.57 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.09 435-AH 63.16
411-AH 0.00 436-AH 35.90
412-AH 22.22 437-AH 64.50 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_MONO_TITLE_DESC
413-AH 40.00 438-AH 13.33 0.8
414-AH 75.00 439-AH 15.38 0.6
415-AH 40.85 440-AH 38.89 0.4
416-AH 69.70 441-AH 77.78 0.2
Difference
417-AH 37.89 442-AH 58.33 0
418-AH 71.43 443-AH 50.00 −0.2
−0.4
419-AH 60.87 444-AH 40.00
−0.6
420-AH 47.83 445-AH 50.00
−0.8
421-AH 50.00 446-AH 50.00
−1
422-AH 12.75 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 40.00 449-AH 34.38
425-AH 16.22 450-AH 40.00
401
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN1 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,893 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,664 Pooled true
Geometric Mean Average Precision 0.2131 monolingual english, retrieved less than 1000 for
Binary Preference (BPREF) 0.3367 some topics
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 69.25 MONOEN1
10 54.78 90%
20 49.75
80%
30 45.14
40 39.81 70%
50 35.11
60%
60 26.55
Precision
70 20.85 50%
80 16.11 40%
90 12.05
30%
100 8.92
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.56 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0154
First Quartile 0.0838
Second Quartile 0.3047
Third Quartile 0.4874
Interquartile range 0.4037 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3256
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2517 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0154 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3256
4
Std With No Outliers 0.2517
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN1
0.8
401-AH 41.91 426-AH 7.29 0.6
402-AH 51.25 427-AH 59.03 0.4
403-AH 6.56 428-AH 10.89 0.2
Difference
404-AH 2.38 429-AH 10.82 0
405-AH 33.35 430-AH 51.32 −0.2
−0.4
406-AH 7.31 431-AH 38.51
−0.6
407-AH 73.92 432-AH 23.72
−0.8
408-AH 8.32 433-AH 64.71
−1
409-AH 48.74 434-AH 30.81 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.38 435-AH 43.23
411-AH 4.07 436-AH 18.85
412-AH 10.12 437-AH 31.65 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOEN1
413-AH 39.25 438-AH 3.90 0.8
414-AH 51.24 439-AH 6.72 0.6
415-AH 14.97 440-AH 9.14 0.4
416-AH 43.31 441-AH 55.13 0.2
Difference
417-AH 1.54 442-AH 48.52 0
418-AH 72.87 443-AH 48.21 −0.2
−0.4
419-AH 36.82 444-AH 28.63
−0.6
420-AH 8.38 445-AH 87.50
−0.8
421-AH 43.12 446-AH 24.37
−1
422-AH 3.19 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 7.14 448-AH 76.79
424-AH 8.80 449-AH 27.80
425-AH 7.00 450-AH 30.12
402
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN1 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 42.00 MONOEN1
10 docs 38.40 90%
15 docs 36.40
80%
20 docs 33.80
30 docs 29.53 70%
100 docs 17.42
60%
200 docs 11.04
Precision
500 docs 5.73 50%
1000 docs 3.33 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.30
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1864
Second Quartile 0.3780
Third Quartile 0.5000
Interquartile range 0.3136 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3530
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2207 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3530 4
3
Std With No Outliers 0.2207
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN1
0.8
401-AH 50.00 426-AH 15.02 0.6
402-AH 58.06 427-AH 50.00 0.4
403-AH 20.29 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 18.64 0
405-AH 38.10 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 45.00
−0.6
407-AH 73.91 432-AH 33.33
−0.8
408-AH 5.56 433-AH 67.84
−1
409-AH 52.63 434-AH 46.85 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 53.51
411-AH 0.00 436-AH 21.79
412-AH 14.81 437-AH 35.50 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOEN1
413-AH 46.67 438-AH 10.00 0.8
414-AH 50.00 439-AH 16.67 0.6
415-AH 25.35 440-AH 22.22 0.4
416-AH 39.39 441-AH 44.44 0.2
Difference
417-AH 7.37 442-AH 50.00 0
418-AH 78.57 443-AH 52.38 −0.2
−0.4
419-AH 39.13 444-AH 20.00
−0.6
420-AH 19.57 445-AH 75.00
−0.8
421-AH 41.67 446-AH 25.00
−1
422-AH 9.80 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 37.50
425-AH 8.11 450-AH 48.33
403
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN2 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,893 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,672 Pooled false
Geometric Mean Average Precision 0.2160 2nd best params
Binary Preference (BPREF) 0.3443
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 70.45 MONOEN2
10 55.66 90%
20 50.89
80%
30 46.30
40 39.88 70%
50 36.49
60%
60 28.06
Precision
70 21.66 50%
80 16.36 40%
90 12.38
30%
100 8.98
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.32 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0153
First Quartile 0.0837
Second Quartile 0.3079
Third Quartile 0.4984
Interquartile range 0.4147 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3332
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2606 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0153 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3332
4
Std With No Outliers 0.2606
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN2
0.8
401-AH 47.38 426-AH 7.32 0.6
402-AH 52.77 427-AH 59.87 0.4
403-AH 6.16 428-AH 10.88 0.2
Difference
404-AH 2.38 429-AH 11.26 0
405-AH 34.20 430-AH 51.99 −0.2
−0.4
406-AH 7.01 431-AH 37.54
−0.6
407-AH 74.65 432-AH 22.63
−0.8
408-AH 8.37 433-AH 66.45
−1
409-AH 48.88 434-AH 29.57 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.65 435-AH 41.76
411-AH 4.11 436-AH 18.99
412-AH 11.06 437-AH 31.82 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOEN2
413-AH 40.99 438-AH 3.91 0.8
414-AH 51.88 439-AH 7.35 0.6
415-AH 13.44 440-AH 8.39 0.4
416-AH 43.32 441-AH 63.75 0.2
Difference
417-AH 1.53 442-AH 48.48 0
418-AH 73.10 443-AH 49.84 −0.2
−0.4
419-AH 38.30 444-AH 30.96
−0.6
420-AH 8.16 445-AH 87.50
−0.8
421-AH 43.73 446-AH 21.75
−1
422-AH 2.95 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 7.14 448-AH 89.29
424-AH 12.05 449-AH 28.22
425-AH 6.88 450-AH 30.62
404
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN2 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 43.20 MONOEN2
10 docs 39.20 90%
15 docs 36.53
80%
20 docs 34.00
30 docs 29.67 70%
100 docs 17.40
60%
200 docs 11.08
Precision
500 docs 5.72 50%
1000 docs 3.34 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
36.13
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1795
Second Quartile 0.3780
Third Quartile 0.5000
Interquartile range 0.3205 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3613
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2330 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3613 4
3
Std With No Outliers 0.2330
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN2
0.8
401-AH 50.00 426-AH 15.02 0.6
402-AH 59.68 427-AH 50.00 0.4
403-AH 18.84 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 38.10 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 40.00
−0.6
407-AH 73.91 432-AH 29.17
−0.8
408-AH 5.56 433-AH 67.06
−1
409-AH 47.37 434-AH 48.65 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 47.37
411-AH 0.00 436-AH 20.51
412-AH 18.52 437-AH 35.50 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOEN2
413-AH 53.33 438-AH 6.67 0.8
414-AH 50.00 439-AH 17.95 0.6
415-AH 19.72 440-AH 16.67 0.4
416-AH 39.39 441-AH 66.67 0.2
Difference
417-AH 7.37 442-AH 50.00 0
418-AH 78.57 443-AH 57.14 −0.2
−0.4
419-AH 47.83 444-AH 28.00
−0.6
420-AH 15.22 445-AH 75.00
−0.8
421-AH 41.67 446-AH 25.00
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 37.50
425-AH 8.11 450-AH 46.67
405
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN3 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,893 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,676 Pooled false
Geometric Mean Average Precision 0.2107 3rd best params
Binary Preference (BPREF) 0.3404
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 69.80 MONOEN3
10 53.71 90%
20 50.22
80%
30 44.96
40 39.29 70%
50 35.42
60%
60 28.12
Precision
70 21.87 50%
80 16.05 40%
90 11.84
30%
100 8.84
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.77 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0153
First Quartile 0.0828
Second Quartile 0.3043
Third Quartile 0.5021
Interquartile range 0.4193 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3277
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2603 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0153 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3277
4
Std With No Outliers 0.2603
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN3
0.8
401-AH 46.12 426-AH 7.28 0.6
402-AH 52.15 427-AH 60.27 0.4
403-AH 6.33 428-AH 10.88 0.2
Difference
404-AH 2.38 429-AH 10.10 0
405-AH 34.52 430-AH 51.11 −0.2
−0.4
406-AH 6.49 431-AH 32.08
−0.6
407-AH 74.56 432-AH 22.24
−0.8
408-AH 8.28 433-AH 65.27
−1
409-AH 48.35 434-AH 28.97 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.12 435-AH 37.38
411-AH 4.09 436-AH 18.97
412-AH 10.83 437-AH 31.52 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOEN3
413-AH 39.89 438-AH 3.55 0.8
414-AH 56.93 439-AH 7.09 0.6
415-AH 11.68 440-AH 8.35 0.4
416-AH 42.12 441-AH 63.74 0.2
Difference
417-AH 1.53 442-AH 49.83 0
418-AH 69.62 443-AH 50.21 −0.2
−0.4
419-AH 38.35 444-AH 32.03
−0.6
420-AH 6.90 445-AH 87.50
−0.8
421-AH 38.24 446-AH 21.17
−1
422-AH 2.90 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 7.14 448-AH 89.29
424-AH 12.02 449-AH 27.10
425-AH 6.85 450-AH 29.35
406
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN3 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 41.60 MONOEN3
10 docs 38.00 90%
15 docs 35.07
80%
20 docs 33.00
30 docs 28.87 70%
100 docs 16.84
60%
200 docs 10.95
Precision
500 docs 5.73 50%
1000 docs 3.35 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.62
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1502
Second Quartile 0.3442
Third Quartile 0.5000
Interquartile range 0.3498 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3462
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2308 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3462 4
3
Std With No Outliers 0.2308
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN3
0.8
401-AH 33.33 426-AH 15.02 0.6
402-AH 59.68 427-AH 50.00 0.4
403-AH 14.49 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 20.34 0
405-AH 38.10 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 30.00
−0.6
407-AH 73.91 432-AH 29.17
−0.8
408-AH 5.56 433-AH 66.67
−1
409-AH 42.11 434-AH 50.45 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 36.84
411-AH 0.00 436-AH 20.51
412-AH 18.52 437-AH 35.50 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOEN3
413-AH 46.67 438-AH 6.67 0.8
414-AH 50.00 439-AH 16.67 0.6
415-AH 14.08 440-AH 16.67 0.4
416-AH 39.39 441-AH 66.67 0.2
Difference
417-AH 7.37 442-AH 50.00 0
418-AH 71.43 443-AH 59.52 −0.2
−0.4
419-AH 43.48 444-AH 32.00
−0.6
420-AH 8.70 445-AH 75.00
−0.8
421-AH 41.67 446-AH 25.00
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 37.50
425-AH 8.11 450-AH 43.33
407
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN4 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,893 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,685 Pooled false
Geometric Mean Average Precision 0.2137 4th best params
Binary Preference (BPREF) 0.3449
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 70.30 MONOEN4
10 56.12 90%
20 50.13
80%
30 45.23
40 39.38 70%
50 36.25
60%
60 28.18
Precision
70 22.00 50%
80 16.21 40%
90 12.30
30%
100 9.17
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.17 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0154
First Quartile 0.0820
Second Quartile 0.3076
Third Quartile 0.5020
Interquartile range 0.4200 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3317
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2612 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0154 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3317
4
Std With No Outliers 0.2612
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN4
0.8
401-AH 40.54 426-AH 7.31 0.6
402-AH 52.70 427-AH 58.59 0.4
403-AH 6.35 428-AH 10.86 0.2
Difference
404-AH 2.50 429-AH 11.61 0
405-AH 35.11 430-AH 52.40 −0.2
−0.4
406-AH 6.11 431-AH 38.68
−0.6
407-AH 75.44 432-AH 23.20
−0.8
408-AH 7.92 433-AH 66.60
−1
409-AH 49.12 434-AH 30.68 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.23 435-AH 40.40
411-AH 4.21 436-AH 18.82
412-AH 10.06 437-AH 30.83 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOEN4
413-AH 39.99 438-AH 3.80 0.8
414-AH 51.88 439-AH 6.35 0.6
415-AH 12.32 440-AH 8.20 0.4
416-AH 43.28 441-AH 63.73 0.2
Difference
417-AH 1.54 442-AH 48.48 0
418-AH 72.47 443-AH 50.20 −0.2
−0.4
419-AH 38.20 444-AH 31.71
−0.6
420-AH 8.27 445-AH 86.11
−0.8
421-AH 43.62 446-AH 24.21
−1
422-AH 2.93 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 6.67 448-AH 91.67
424-AH 11.84 449-AH 28.58
425-AH 6.81 450-AH 29.78
408
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN4 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 42.80 MONOEN4
10 docs 39.00 90%
15 docs 35.87
80%
20 docs 34.70
30 docs 29.40 70%
100 docs 16.92
60%
200 docs 11.07
Precision
500 docs 5.71 50%
1000 docs 3.37 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.47
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1667
Second Quartile 0.3621
Third Quartile 0.5045
Interquartile range 0.3378 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3547
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2301 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3547 4
3
Std With No Outliers 0.2301
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN4
0.8
401-AH 33.33 426-AH 15.02 0.6
402-AH 58.06 427-AH 50.00 0.4
403-AH 13.04 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 20.34 0
405-AH 38.10 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 40.00
−0.6
407-AH 73.91 432-AH 29.17
−0.8
408-AH 5.56 433-AH 67.06
−1
409-AH 47.37 434-AH 50.45 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 43.86
411-AH 0.00 436-AH 19.23
412-AH 14.81 437-AH 34.91 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOEN4
413-AH 53.33 438-AH 6.67 0.8
414-AH 50.00 439-AH 17.95 0.6
415-AH 19.72 440-AH 16.67 0.4
416-AH 39.39 441-AH 66.67 0.2
Difference
417-AH 7.37 442-AH 50.00 0
418-AH 71.43 443-AH 57.14 −0.2
−0.4
419-AH 47.83 444-AH 28.00
−0.6
420-AH 17.39 445-AH 75.00
−0.8
421-AH 41.67 446-AH 33.33
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 37.50
425-AH 8.11 450-AH 43.33
409
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN5 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,893 Source Language Hungarian
Relevant 2,247 Topic Fields title
Relevant retrieved 1,692 Pooled false
Geometric Mean Average Precision 0.2095 5th best params
Binary Preference (BPREF) 0.3377
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 70.25 MONOEN5
10 53.53 90%
20 49.89
80%
30 44.76
40 38.55 70%
50 34.77
60%
60 28.29
Precision
70 21.78 50%
80 16.15 40%
90 11.70
30%
100 8.76
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.64 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0155
First Quartile 0.0795
Second Quartile 0.3010
Third Quartile 0.5049
Interquartile range 0.4254 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3264
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2591 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0155 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3264
4
Std With No Outliers 0.2591
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN5
0.8
401-AH 44.04 426-AH 7.32 0.6
402-AH 52.09 427-AH 60.79 0.4
403-AH 6.26 428-AH 10.86 0.2
Difference
404-AH 2.38 429-AH 10.60 0
405-AH 35.35 430-AH 52.09 −0.2
−0.4
406-AH 5.93 431-AH 32.44
−0.6
407-AH 74.50 432-AH 22.40
−0.8
408-AH 7.95 433-AH 65.18
−1
409-AH 47.53 434-AH 29.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.57 435-AH 37.70
411-AH 4.00 436-AH 20.18
412-AH 9.50 437-AH 30.81 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOEN5
413-AH 39.54 438-AH 3.66 0.8
414-AH 52.21 439-AH 6.35 0.6
415-AH 11.52 440-AH 8.05 0.4
416-AH 42.16 441-AH 63.70 0.2
Difference
417-AH 1.55 442-AH 49.82 0
418-AH 69.29 443-AH 50.49 −0.2
−0.4
419-AH 38.66 444-AH 31.05
−0.6
420-AH 7.03 445-AH 87.50
−0.8
421-AH 40.34 446-AH 21.22
−1
422-AH 3.13 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 7.14 448-AH 87.50
424-AH 11.94 449-AH 27.66
425-AH 6.78 450-AH 29.23
410
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN5 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 41.60 MONOEN5
10 docs 38.40 90%
15 docs 35.47
80%
20 docs 33.40
30 docs 28.73 70%
100 docs 16.76
60%
200 docs 10.91
Precision
500 docs 5.71 50%
1000 docs 3.38 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.66
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1502
Second Quartile 0.3525
Third Quartile 0.5000
Interquartile range 0.3498 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3466
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2293 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8333 4
Mean With No Outliers 0.3466 3
Std With No Outliers 0.2293 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN5
0.8
401-AH 33.33 426-AH 15.02 0.6
402-AH 59.68 427-AH 50.00 0.4
403-AH 17.39 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 20.34 0
405-AH 38.10 430-AH 58.06 −0.2
−0.4
406-AH 14.29 431-AH 35.00
−0.6
407-AH 73.91 432-AH 29.17
−0.8
408-AH 5.56 433-AH 65.88
−1
409-AH 42.11 434-AH 48.65 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 38.60
411-AH 0.00 436-AH 25.64
412-AH 14.81 437-AH 35.50 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOEN5
413-AH 46.67 438-AH 6.67 0.8
414-AH 50.00 439-AH 16.67 0.6
415-AH 15.49 440-AH 16.67 0.4
416-AH 39.39 441-AH 66.67 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 71.43 443-AH 57.14 −0.2
−0.4
419-AH 43.48 444-AH 28.00
−0.6
420-AH 10.87 445-AH 75.00
−0.8
421-AH 41.67 446-AH 25.00
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 37.50
425-AH 8.11 450-AH 43.33
411
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN6 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 48,816 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,669 Pooled false
Geometric Mean Average Precision 0.2202 6th best params
Binary Preference (BPREF) 0.3455
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 71.69 MONOEN6
10 56.55 90%
20 50.03
80%
30 44.17
40 40.53 70%
50 35.45
60%
60 27.89
Precision
70 21.92 50%
80 16.73 40%
90 12.78
30%
100 9.62
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.11 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0157
First Quartile 0.0909
Second Quartile 0.2941
Third Quartile 0.4851
Interquartile range 0.3942 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3311
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2586 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0157 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3311
4
Std With No Outliers 0.2586
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN6
0.8
401-AH 36.11 426-AH 6.99 0.6
402-AH 51.78 427-AH 58.12 0.4
403-AH 6.21 428-AH 11.04 0.2
Difference
404-AH 3.33 429-AH 11.33 0
405-AH 35.17 430-AH 52.72 −0.2
−0.4
406-AH 7.61 431-AH 44.47
−0.6
407-AH 76.24 432-AH 24.74
−0.8
408-AH 8.32 433-AH 66.65
−1
409-AH 47.68 434-AH 31.02 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.16 435-AH 37.50
411-AH 9.23 436-AH 19.84
412-AH 10.36 437-AH 32.72 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOEN6
413-AH 36.92 438-AH 3.95 0.8
414-AH 54.10 439-AH 6.19 0.6
415-AH 17.69 440-AH 10.18 0.4
416-AH 43.26 441-AH 54.77 0.2
Difference
417-AH 1.57 442-AH 48.51 0
418-AH 74.77 443-AH 47.63 −0.2
−0.4
419-AH 38.73 444-AH 23.78
−0.6
420-AH 8.45 445-AH 85.00
−0.8
421-AH 43.90 446-AH 25.28
−1
422-AH 2.99 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 9.09 448-AH 95.00
424-AH 8.37 449-AH 27.79
425-AH 7.55 450-AH 24.99
412
budapest-acad 10.2415/AH-MONO-EN-CLEF2007.BUDAPEST-ACAD.MONOEN6 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 43.20 MONOEN6
10 docs 39.40 90%
15 docs 37.33
80%
20 docs 34.60
30 docs 30.27 70%
100 docs 17.32
60%
200 docs 11.16
Precision
500 docs 5.70 50%
1000 docs 3.34 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.91
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1884
Second Quartile 0.3572
Third Quartile 0.5000
Interquartile range 0.3116 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3591
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2227 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8333 4
Mean With No Outliers 0.3591 3
Std With No Outliers 0.2227 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOEN6
0.8
401-AH 33.33 426-AH 14.55 0.6
402-AH 58.06 427-AH 50.00 0.4
403-AH 18.84 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 23.73 0
405-AH 38.10 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 50.00
−0.6
407-AH 78.26 432-AH 29.17
−0.8
408-AH 5.56 433-AH 69.02
−1
409-AH 47.37 434-AH 47.75 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 35.96
411-AH 10.00 436-AH 21.79
412-AH 14.81 437-AH 35.50 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOEN6
413-AH 46.67 438-AH 6.67 0.8
414-AH 50.00 439-AH 17.95 0.6
415-AH 30.99 440-AH 22.22 0.4
416-AH 39.39 441-AH 44.44 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 78.57 443-AH 52.38 −0.2
−0.4
419-AH 47.83 444-AH 32.00
−0.6
420-AH 19.57 445-AH 75.00
−0.8
421-AH 41.67 446-AH 33.33
−1
422-AH 9.80 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 35.94
425-AH 5.41 450-AH 43.33
413
depok 10.2415/AH-MONO-EN-CLEF2007.DEPOK.UIQDMONO AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields description
Relevant retrieved 1,836 Pooled false
Geometric Mean Average Precision 0.2390 Monolingual run with description query
Binary Preference (BPREF) 0.3452
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 73.91 UIQDMONO
10 60.83 90%
20 53.89
80%
30 46.06
40 39.32 70%
50 33.52
60%
60 25.77
Precision
70 22.37 50%
80 17.98 40%
90 13.07
30%
100 6.96
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.89 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8179
Minimum 0.0095
First Quartile 0.1756
Second Quartile 0.3332
Third Quartile 0.5142
Interquartile range 0.3385 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3389
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2150 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0095 4
Upper Outlier Threshold 0.8179
3
Mean With No Outliers 0.3389
2
Std With No Outliers 0.2150
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQDMONO
0.8
401-AH 38.47 426-AH 13.36 0.6
402-AH 24.07 427-AH 17.56 0.4
403-AH 8.53 428-AH 27.37 0.2
Difference
404-AH 33.33 429-AH 33.43 0
405-AH 55.79 430-AH 51.42 −0.2
−0.4
406-AH 38.44 431-AH 11.82
−0.6
407-AH 46.88 432-AH 21.04
−0.8
408-AH 34.80 433-AH 75.04
−1
409-AH 40.70 434-AH 36.93 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 73.65 435-AH 69.73
411-AH 5.88 436-AH 15.93
412-AH 1.48 437-AH 62.83 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQDMONO
413-AH 19.98 438-AH 19.58 0.8
414-AH 60.00 439-AH 6.53 0.6
415-AH 25.84 440-AH 41.06 0.4
416-AH 66.76 441-AH 20.88 0.2
Difference
417-AH 21.54 442-AH 55.02 0
418-AH 60.82 443-AH 22.87 −0.2
−0.4
419-AH 52.50 444-AH 35.17
−0.6
420-AH 53.04 445-AH 43.79
−0.8
421-AH 30.23 446-AH 33.30
−1
422-AH 1.49 447-AH 81.79 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.95 448-AH 44.83
424-AH 1.51 449-AH 10.44
425-AH 29.20 450-AH 16.75
414
depok 10.2415/AH-MONO-EN-CLEF2007.DEPOK.UIQDMONO AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 48.80 UIQDMONO
10 docs 43.60 90%
15 docs 39.07
80%
20 docs 36.40
30 docs 31.93 70%
100 docs 19.06
60%
200 docs 12.99
Precision
500 docs 6.76 50%
1000 docs 3.67 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
35.34
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2436
Second Quartile 0.3360
Third Quartile 0.5000
Interquartile range 0.2564 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3534
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2020 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3534 4
3
Std With No Outliers 0.2020
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQDMONO
0.8
401-AH 33.33 426-AH 25.35 0.6
402-AH 33.87 427-AH 12.50 0.4
403-AH 17.39 428-AH 36.36 0.2
Difference
404-AH 0.00 429-AH 33.90 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 47.62 431-AH 20.00
−0.6
407-AH 47.83 432-AH 25.00
−0.8
408-AH 33.33 433-AH 69.02
−1
409-AH 36.84 434-AH 39.64 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 64.04
411-AH 0.00 436-AH 24.36
412-AH 3.70 437-AH 59.76 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQDMONO
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 15.38 0.6
415-AH 36.62 440-AH 50.00 0.4
416-AH 69.70 441-AH 33.33 0.2
Difference
417-AH 29.47 442-AH 58.33 0
418-AH 50.00 443-AH 33.33 −0.2
−0.4
419-AH 60.87 444-AH 36.00
−0.6
420-AH 50.00 445-AH 50.00
−0.8
421-AH 33.33 446-AH 33.33
−1
422-AH 7.84 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 12.50
425-AH 35.14 450-AH 26.67
415
depok 10.2415/AH-MONO-EN-CLEF2007.DEPOK.UIQTDMONO AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,974 Pooled true
Geometric Mean Average Precision 0.3361 Monolingual run with title and description query
Binary Preference (BPREF) 0.3809
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 77.88 UIQTDMONO
10 69.69 90%
20 62.15
80%
30 53.46
40 47.32 70%
50 41.52
60%
60 33.62
Precision
70 29.16 50%
80 23.52 40%
90 18.20
30%
100 10.57
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
40.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8179
Minimum 0.0588
First Quartile 0.2500
Second Quartile 0.3910
Third Quartile 0.5714
Interquartile range 0.3214 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4057
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2119 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0588
6
Upper Outlier Threshold 0.8179 5
Mean With No Outliers 0.4057 4
3
Std With No Outliers 0.2119
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDMONO
0.8
401-AH 43.00 426-AH 17.12 0.6
402-AH 46.56 427-AH 24.47 0.4
403-AH 30.12 428-AH 36.15 0.2
Difference
404-AH 25.00 429-AH 39.53 0
405-AH 59.76 430-AH 59.88 −0.2
−0.4
406-AH 35.33 431-AH 30.60
−0.6
407-AH 51.64 432-AH 23.51
−0.8
408-AH 35.19 433-AH 81.50
−1
409-AH 44.64 434-AH 43.03 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.31 435-AH 75.84
411-AH 6.80 436-AH 27.60
412-AH 6.11 437-AH 73.19 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDMONO
413-AH 26.48 438-AH 22.03 0.8
414-AH 72.50 439-AH 10.78 0.6
415-AH 38.67 440-AH 42.58 0.4
416-AH 71.88 441-AH 46.54 0.2
Difference
417-AH 26.82 442-AH 56.58 0
418-AH 61.20 443-AH 38.67 −0.2
−0.4
419-AH 58.07 444-AH 36.89
−0.6
420-AH 50.82 445-AH 62.33
−0.8
421-AH 39.57 446-AH 40.77
−1
422-AH 8.73 447-AH 81.79 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 7.14 448-AH 57.14
424-AH 5.88 449-AH 13.86
425-AH 24.02 450-AH 32.62
416
depok 10.2415/AH-MONO-EN-CLEF2007.DEPOK.UIQTDMONO AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 58.00 UIQTDMONO
10 docs 48.60 90%
15 docs 43.20
80%
20 docs 41.40
30 docs 37.07 70%
100 docs 22.38
60%
200 docs 14.72
Precision
500 docs 7.38 50%
1000 docs 3.95 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.16
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2800
Second Quartile 0.3829
Third Quartile 0.5000
Interquartile range 0.2200 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3916
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2014 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.7660
6
Mean With No Outliers 0.3826
4
Std With No Outliers 0.1930
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDMONO
0.8
401-AH 33.33 426-AH 28.64 0.6
402-AH 46.77 427-AH 18.75 0.4
403-AH 33.33 428-AH 45.45 0.2
Difference
404-AH 0.00 429-AH 40.68 0
405-AH 47.62 430-AH 51.61 −0.2
−0.4
406-AH 33.33 431-AH 30.00
−0.6
407-AH 52.17 432-AH 25.00
−0.8
408-AH 33.33 433-AH 74.12
−1
409-AH 47.37 434-AH 46.85 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 71.93
411-AH 0.00 436-AH 35.90
412-AH 11.11 437-AH 70.41 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDMONO
413-AH 20.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 24.36 0.6
415-AH 42.25 440-AH 44.44 0.4
416-AH 72.73 441-AH 55.56 0.2
Difference
417-AH 32.63 442-AH 58.33 0
418-AH 50.00 443-AH 45.24 −0.2
−0.4
419-AH 56.52 444-AH 28.00
−0.6
420-AH 47.83 445-AH 50.00
−0.8
421-AH 33.33 446-AH 33.33
−1
422-AH 18.63 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 0.00 449-AH 15.62
425-AH 29.73 450-AH 35.00
417
depok 10.2415/AH-MONO-EN-CLEF2007.DEPOK.UIQTMONO AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,206 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,834 Pooled false
Geometric Mean Average Precision 0.3030 Monolingual run with title query
Binary Preference (BPREF) 0.3594
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 81.63 UIQTMONO
10 66.86 90%
20 56.68
80%
30 49.44
40 45.80 70%
50 41.56
60%
60 31.84
Precision
70 27.35 50%
80 22.55 40%
90 17.46
30%
100 10.54
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8734
Minimum 0.0453
First Quartile 0.1944
Second Quartile 0.3996
Third Quartile 0.5245
Interquartile range 0.3301 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3835
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2231 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0453 5
Upper Outlier Threshold 0.8734 4
Mean With No Outliers 0.3835 3
Std With No Outliers 0.2231 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTMONO
0.8
401-AH 38.88 426-AH 6.05 0.6
402-AH 52.19 427-AH 41.52 0.4
403-AH 8.35 428-AH 4.53 0.2
Difference
404-AH 25.00 429-AH 20.54 0
405-AH 43.46 430-AH 57.36 −0.2
−0.4
406-AH 19.44 431-AH 49.62
−0.6
407-AH 52.45 432-AH 27.55
−0.8
408-AH 31.83 433-AH 77.44
−1
409-AH 49.05 434-AH 42.78 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.14 435-AH 74.24
411-AH 6.55 436-AH 11.45
412-AH 15.07 437-AH 45.52 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTMONO
413-AH 32.16 438-AH 14.12 0.8
414-AH 72.50 439-AH 8.53 0.6
415-AH 34.52 440-AH 30.45 0.4
416-AH 71.31 441-AH 43.67 0.2
Difference
417-AH 16.07 442-AH 54.54 0
418-AH 65.28 443-AH 46.07 −0.2
−0.4
419-AH 51.27 444-AH 34.87
−0.6
420-AH 35.99 445-AH 58.86
−0.8
421-AH 56.04 446-AH 42.56
−1
422-AH 6.20 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 66.67
424-AH 23.53 449-AH 14.92
425-AH 9.81 450-AH 41.03
418
depok 10.2415/AH-MONO-EN-CLEF2007.DEPOK.UIQTMONO AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 54.40 UIQTMONO
10 docs 48.20 90%
15 docs 42.27
80%
20 docs 38.30
30 docs 32.73 70%
100 docs 19.66
60%
200 docs 13.09
Precision
500 docs 6.77 50%
1000 docs 3.67 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.56
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.4196
Third Quartile 0.5217
Interquartile range 0.3217 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3756
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2121 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.3756
Std With No Outliers 0.2121 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTMONO
0.8
401-AH 50.00 426-AH 13.15 0.6
402-AH 54.84 427-AH 50.00 0.4
403-AH 13.04 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 42.86 430-AH 58.06 −0.2
−0.4
406-AH 28.57 431-AH 45.00
−0.6
407-AH 56.52 432-AH 25.00
−0.8
408-AH 27.78 433-AH 70.20
−1
409-AH 52.63 434-AH 45.95 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 70.18
411-AH 10.00 436-AH 5.13
412-AH 18.52 437-AH 51.48 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTMONO
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 15.38 0.6
415-AH 42.25 440-AH 27.78 0.4
416-AH 63.64 441-AH 55.56 0.2
Difference
417-AH 17.89 442-AH 50.00 0
418-AH 64.29 443-AH 52.38 −0.2
−0.4
419-AH 52.17 444-AH 32.00
−0.6
420-AH 34.78 445-AH 50.00
−0.8
421-AH 41.67 446-AH 50.00
−1
422-AH 14.71 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 20.31
425-AH 10.81 450-AH 41.67
419
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.ENGMONO AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,629 Pooled false
Geometric Mean Average Precision 0.2526 English Monolingual Run
Binary Preference (BPREF) 0.3850
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 73.46 ENGMONO
10 62.89 90%
20 58.39
80%
30 51.80
40 46.07 70%
50 41.53
60%
60 30.13
Precision
70 24.21 50%
80 18.30 40%
90 13.08
30%
100 7.65
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.87 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0019
First Quartile 0.1188
Second Quartile 0.3342
Third Quartile 0.5528
Interquartile range 0.4340 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3687
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2568 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0019
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3687 4
3
Std With No Outliers 0.2568
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ENGMONO
0.8
401-AH 43.02 426-AH 2.86 0.6
402-AH 42.22 427-AH 43.99 0.4
403-AH 13.91 428-AH 6.24 0.2
Difference
404-AH 100.00 429-AH 17.13 0
405-AH 35.55 430-AH 52.64 −0.2
−0.4
406-AH 9.00 431-AH 54.72
−0.6
407-AH 30.44 432-AH 20.04
−0.8
408-AH 39.70 433-AH 66.34
−1
409-AH 65.85 434-AH 67.21 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 60.19 435-AH 42.83
411-AH 11.88 436-AH 10.60
412-AH 8.45 437-AH 31.28 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ENGMONO
413-AH 26.85 438-AH 12.45 0.8
414-AH 55.28 439-AH 9.43 0.6
415-AH 30.00 440-AH 27.02 0.4
416-AH 54.66 441-AH 59.16 0.2
Difference
417-AH 11.79 442-AH 65.34 0
418-AH 22.57 443-AH 63.61 −0.2
−0.4
419-AH 43.54 444-AH 41.13
−0.6
420-AH 7.93 445-AH 52.21
−0.8
421-AH 86.24 446-AH 5.25
−1
422-AH 9.23 447-AH 100.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.19 448-AH 64.58
424-AH 60.82 449-AH 24.86
425-AH 10.57 450-AH 22.53
420
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.ENGMONO AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 49.20 ENGMONO
10 docs 45.20 90%
15 docs 40.53
80%
20 docs 36.80
30 docs 32.60 70%
100 docs 18.80
60%
200 docs 11.90
Precision
500 docs 5.92 50%
1000 docs 3.26 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.79
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2059
Second Quartile 0.3739
Third Quartile 0.5500
Interquartile range 0.3441 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3979
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2361 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 4
Upper Outlier Threshold 1.0000
3
Mean With No Outliers 0.3979
2
Std With No Outliers 0.2361
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ENGMONO
0.8
401-AH 33.33 426-AH 7.51 0.6
402-AH 50.00 427-AH 37.50 0.4
403-AH 21.74 428-AH 9.09 0.2
Difference
404-AH 100.00 429-AH 23.73 0
405-AH 42.86 430-AH 54.84 −0.2
−0.4
406-AH 14.29 431-AH 55.00
−0.6
407-AH 34.78 432-AH 25.00
−0.8
408-AH 38.89 433-AH 64.71
−1
409-AH 57.89 434-AH 73.87 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.83 435-AH 48.25
411-AH 10.00 436-AH 25.64
412-AH 7.41 437-AH 37.28 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ENGMONO
413-AH 33.33 438-AH 10.00 0.8
414-AH 50.00 439-AH 20.51 0.6
415-AH 43.66 440-AH 33.33 0.4
416-AH 51.52 441-AH 55.56 0.2
Difference
417-AH 20.00 442-AH 58.33 0
418-AH 28.57 443-AH 59.52 −0.2
−0.4
419-AH 47.83 444-AH 48.00
−0.6
420-AH 19.57 445-AH 50.00
−0.8
421-AH 83.33 446-AH 8.33
−1
422-AH 20.59 447-AH 100.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 60.00 449-AH 29.69
425-AH 13.51 450-AH 31.67
421
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.ENTDN_OMENG07 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,814 Pooled false
Geometric Mean Average Precision 0.2682 English Monolingual Tile, Description and Narrative
Binary Preference (BPREF) 0.3741 Run
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 80.48 ENTDN_OMENG07
10 68.00 90%
20 56.76
80%
30 48.09
40 43.10 70%
50 38.60
60%
60 30.75
Precision
70 27.75 50%
80 23.09 40%
90 18.61
30%
100 11.52
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9187
Minimum 0.0106
First Quartile 0.1749
Second Quartile 0.3654
Third Quartile 0.5908
Interquartile range 0.4159 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3891
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2584 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0106 5
Upper Outlier Threshold 0.9187 4
Mean With No Outliers 0.3891 3
Std With No Outliers 0.2584 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ENTDN_OMENG07
0.8
401-AH 31.66 426-AH 21.04 0.6
402-AH 69.93 427-AH 36.45 0.4
403-AH 16.27 428-AH 23.76 0.2
Difference
404-AH 50.00 429-AH 39.32 0
405-AH 56.27 430-AH 49.70 −0.2
−0.4
406-AH 19.38 431-AH 21.41
−0.6
407-AH 42.12 432-AH 20.49
−0.8
408-AH 38.53 433-AH 79.29
−1
409-AH 61.32 434-AH 91.87 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.69 435-AH 72.34
411-AH 7.86 436-AH 5.43
412-AH 1.38 437-AH 61.77 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ENTDN_OMENG07
413-AH 35.29 438-AH 22.91 0.8
414-AH 72.69 439-AH 3.69 0.6
415-AH 36.62 440-AH 34.88 0.4
416-AH 64.48 441-AH 17.49 0.2
Difference
417-AH 8.27 442-AH 75.67 0
418-AH 68.76 443-AH 56.67 −0.2
−0.4
419-AH 59.08 444-AH 29.79
−0.6
420-AH 41.69 445-AH 53.03
−0.8
421-AH 57.24 446-AH 50.16
−1
422-AH 2.76 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.06 448-AH 5.68
424-AH 12.02 449-AH 11.63
425-AH 22.18 450-AH 14.12
422
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.ENTDN_OMENG07 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 55.60 ENTDN_OMENG07
10 docs 47.00 90%
15 docs 42.80
80%
20 docs 39.80
30 docs 35.13 70%
100 docs 21.18
60%
200 docs 13.52
Precision
500 docs 6.68 50%
1000 docs 3.63 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.08
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.3333
Third Quartile 0.5238
Interquartile range 0.3238 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3708
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2242 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3708 4
3
Std With No Outliers 0.2242
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ENTDN_OMENG07
0.8
401-AH 33.33 426-AH 30.05 0.6
402-AH 64.52 427-AH 25.00 0.4
403-AH 14.49 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 44.07 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 33.33 431-AH 25.00
−0.6
407-AH 43.48 432-AH 20.83
−0.8
408-AH 33.33 433-AH 74.51
−1
409-AH 57.89 434-AH 82.88 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 67.54
411-AH 20.00 436-AH 7.69
412-AH 3.70 437-AH 59.76 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ENTDN_OMENG07
413-AH 33.33 438-AH 20.00 0.8
414-AH 50.00 439-AH 10.26 0.6
415-AH 35.21 440-AH 33.33 0.4
416-AH 66.67 441-AH 11.11 0.2
Difference
417-AH 18.95 442-AH 58.33 0
418-AH 64.29 443-AH 50.00 −0.2
−0.4
419-AH 56.52 444-AH 32.00
−0.6
420-AH 43.48 445-AH 50.00
−0.8
421-AH 50.00 446-AH 50.00
−1
422-AH 7.84 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 17.19
425-AH 24.32 450-AH 28.33
423
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.ENTD_OMENG07 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,840 Pooled true
Geometric Mean Average Precision 0.3116 English Monolingual Tile and Description Run
Binary Preference (BPREF) 0.3866
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 81.45 ENTD_OMENG07
10 70.26 90%
20 60.21
80%
30 50.67
40 43.60 70%
50 39.67
60%
60 32.63
Precision
70 28.80 50%
80 23.83 40%
90 19.33
30%
100 13.17
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
40.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0103
First Quartile 0.1926
Second Quartile 0.3586
Third Quartile 0.5872
Interquartile range 0.3946 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4016
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2480 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0103 5
Upper Outlier Threshold 1.0000 4
Mean With No Outliers 0.4016 3
Std With No Outliers 0.2480 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ENTD_OMENG07
0.8
401-AH 35.57 426-AH 19.26 0.6
402-AH 49.92 427-AH 39.18 0.4
403-AH 19.24 428-AH 30.25 0.2
Difference
404-AH 100.00 429-AH 33.23 0
405-AH 58.94 430-AH 59.42 −0.2
−0.4
406-AH 17.00 431-AH 24.95
−0.6
407-AH 43.27 432-AH 20.89
−0.8
408-AH 42.78 433-AH 79.93
−1
409-AH 53.37 434-AH 86.62 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.27 435-AH 61.74
411-AH 9.66 436-AH 11.59
412-AH 1.03 437-AH 55.80 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ENTD_OMENG07
413-AH 30.08 438-AH 17.95 0.8
414-AH 56.55 439-AH 10.03 0.6
415-AH 36.72 440-AH 35.08 0.4
416-AH 69.03 441-AH 11.43 0.2
Difference
417-AH 10.96 442-AH 74.70 0
418-AH 72.36 443-AH 36.15 −0.2
−0.4
419-AH 58.72 444-AH 24.26
−0.6
420-AH 47.82 445-AH 66.67
−0.8
421-AH 66.07 446-AH 42.59
−1
422-AH 6.86 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 11.11 448-AH 19.35
424-AH 25.80 449-AH 17.64
425-AH 25.84 450-AH 26.93
424
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.ENTD_OMENG07 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 56.00 ENTD_OMENG07
10 docs 48.20 90%
15 docs 43.47
80%
20 docs 40.60
30 docs 36.20 70%
100 docs 21.30
60%
200 docs 13.65
Precision
500 docs 6.80 50%
1000 docs 3.68 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.52
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2436
Second Quartile 0.3500
Third Quartile 0.5238
Interquartile range 0.2802 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3952
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2123 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3829 4
3
Std With No Outliers 0.1956
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ENTD_OMENG07
0.8
401-AH 33.33 426-AH 27.23 0.6
402-AH 51.61 427-AH 31.25 0.4
403-AH 18.84 428-AH 27.27 0.2
Difference
404-AH 100.00 429-AH 44.07 0
405-AH 52.38 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 35.00
−0.6
407-AH 43.48 432-AH 20.83
−0.8
408-AH 38.89 433-AH 72.94
−1
409-AH 42.11 434-AH 77.48 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 65.96 435-AH 61.40
411-AH 10.00 436-AH 20.51
412-AH 7.41 437-AH 55.03 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ENTD_OMENG07
413-AH 26.67 438-AH 16.67 0.8
414-AH 50.00 439-AH 24.36 0.6
415-AH 42.25 440-AH 33.33 0.4
416-AH 75.76 441-AH 11.11 0.2
Difference
417-AH 22.11 442-AH 58.33 0
418-AH 57.14 443-AH 40.48 −0.2
−0.4
419-AH 52.17 444-AH 28.00
−0.6
420-AH 45.65 445-AH 50.00
−0.8
421-AH 58.33 446-AH 33.33
−1
422-AH 16.67 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 20.00 449-AH 26.56
425-AH 29.73 450-AH 35.00
425
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.OMENG07 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,814 Pooled false
Geometric Mean Average Precision 0.2682 English Monolingual Run
Binary Preference (BPREF) 0.3741
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 80.48 OMENG07
10 68.00 90%
20 56.76
80%
30 48.09
40 43.10 70%
50 38.60
60%
60 30.75
Precision
70 27.75 50%
80 23.09 40%
90 18.61
30%
100 11.52
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9187
Minimum 0.0106
First Quartile 0.1749
Second Quartile 0.3654
Third Quartile 0.5908
Interquartile range 0.4159 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3891
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2584 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0106 5
Upper Outlier Threshold 0.9187 4
Mean With No Outliers 0.3891 3
Std With No Outliers 0.2584 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OMENG07
0.8
401-AH 31.66 426-AH 21.04 0.6
402-AH 69.93 427-AH 36.45 0.4
403-AH 16.27 428-AH 23.76 0.2
Difference
404-AH 50.00 429-AH 39.32 0
405-AH 56.27 430-AH 49.70 −0.2
−0.4
406-AH 19.38 431-AH 21.41
−0.6
407-AH 42.12 432-AH 20.49
−0.8
408-AH 38.53 433-AH 79.29
−1
409-AH 61.32 434-AH 91.87 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.69 435-AH 72.34
411-AH 7.86 436-AH 5.43
412-AH 1.38 437-AH 61.77 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OMENG07
413-AH 35.29 438-AH 22.91 0.8
414-AH 72.69 439-AH 3.69 0.6
415-AH 36.62 440-AH 34.88 0.4
416-AH 64.48 441-AH 17.49 0.2
Difference
417-AH 8.27 442-AH 75.67 0
418-AH 68.76 443-AH 56.67 −0.2
−0.4
419-AH 59.08 444-AH 29.79
−0.6
420-AH 41.69 445-AH 53.03
−0.8
421-AH 57.24 446-AH 50.16
−1
422-AH 2.76 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.06 448-AH 5.68
424-AH 12.02 449-AH 11.63
425-AH 22.18 450-AH 14.12
426
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.OMENG07 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 55.60 OMENG07
10 docs 47.00 90%
15 docs 42.80
80%
20 docs 39.80
30 docs 35.13 70%
100 docs 21.18
60%
200 docs 13.52
Precision
500 docs 6.68 50%
1000 docs 3.63 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.08
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.3333
Third Quartile 0.5238
Interquartile range 0.3238 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3708
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2242 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3708 4
3
Std With No Outliers 0.2242
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OMENG07
0.8
401-AH 33.33 426-AH 30.05 0.6
402-AH 64.52 427-AH 25.00 0.4
403-AH 14.49 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 44.07 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 33.33 431-AH 25.00
−0.6
407-AH 43.48 432-AH 20.83
−0.8
408-AH 33.33 433-AH 74.51
−1
409-AH 57.89 434-AH 82.88 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 67.54
411-AH 20.00 436-AH 7.69
412-AH 3.70 437-AH 59.76 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OMENG07
413-AH 33.33 438-AH 20.00 0.8
414-AH 50.00 439-AH 10.26 0.6
415-AH 35.21 440-AH 33.33 0.4
416-AH 66.67 441-AH 11.11 0.2
Difference
417-AH 18.95 442-AH 58.33 0
418-AH 64.29 443-AH 50.00 −0.2
−0.4
419-AH 56.52 444-AH 32.00
−0.6
420-AH 43.48 445-AH 50.00
−0.8
421-AH 50.00 446-AH 50.00
−1
422-AH 7.84 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 17.19
425-AH 24.32 450-AH 28.33
427
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.OMENG07E AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,814 Pooled false
Geometric Mean Average Precision 0.2682 English Monolingual Run
Binary Preference (BPREF) 0.3741
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 80.48 OMENG07E
10 68.00 90%
20 56.76
80%
30 48.09
40 43.10 70%
50 38.60
60%
60 30.75
Precision
70 27.75 50%
80 23.09 40%
90 18.61
30%
100 11.52
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9187
Minimum 0.0106
First Quartile 0.1749
Second Quartile 0.3654
Third Quartile 0.5908
Interquartile range 0.4159 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3891
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2584 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0106 5
Upper Outlier Threshold 0.9187 4
Mean With No Outliers 0.3891 3
Std With No Outliers 0.2584 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OMENG07E
0.8
401-AH 31.66 426-AH 21.04 0.6
402-AH 69.93 427-AH 36.45 0.4
403-AH 16.27 428-AH 23.76 0.2
Difference
404-AH 50.00 429-AH 39.32 0
405-AH 56.27 430-AH 49.70 −0.2
−0.4
406-AH 19.38 431-AH 21.41
−0.6
407-AH 42.12 432-AH 20.49
−0.8
408-AH 38.53 433-AH 79.29
−1
409-AH 61.32 434-AH 91.87 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.69 435-AH 72.34
411-AH 7.86 436-AH 5.43
412-AH 1.38 437-AH 61.77 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OMENG07E
413-AH 35.29 438-AH 22.91 0.8
414-AH 72.69 439-AH 3.69 0.6
415-AH 36.62 440-AH 34.88 0.4
416-AH 64.48 441-AH 17.49 0.2
Difference
417-AH 8.27 442-AH 75.67 0
418-AH 68.76 443-AH 56.67 −0.2
−0.4
419-AH 59.08 444-AH 29.79
−0.6
420-AH 41.69 445-AH 53.03
−0.8
421-AH 57.24 446-AH 50.16
−1
422-AH 2.76 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.06 448-AH 5.68
424-AH 12.02 449-AH 11.63
425-AH 22.18 450-AH 14.12
428
hyderabad 10.2415/AH-MONO-EN-CLEF2007.HYDERABAD.OMENG07E AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 55.60 OMENG07E
10 docs 47.00 90%
15 docs 42.80
80%
20 docs 39.80
30 docs 35.13 70%
100 docs 21.18
60%
200 docs 13.52
Precision
500 docs 6.68 50%
1000 docs 3.63 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.08
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.3333
Third Quartile 0.5238
Interquartile range 0.3238 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3708
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2242 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3708 4
3
Std With No Outliers 0.2242
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OMENG07E
0.8
401-AH 33.33 426-AH 30.05 0.6
402-AH 64.52 427-AH 25.00 0.4
403-AH 14.49 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 44.07 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 33.33 431-AH 25.00
−0.6
407-AH 43.48 432-AH 20.83
−0.8
408-AH 33.33 433-AH 74.51
−1
409-AH 57.89 434-AH 82.88 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 67.54
411-AH 20.00 436-AH 7.69
412-AH 3.70 437-AH 59.76 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OMENG07E
413-AH 33.33 438-AH 20.00 0.8
414-AH 50.00 439-AH 10.26 0.6
415-AH 35.21 440-AH 33.33 0.4
416-AH 66.67 441-AH 11.11 0.2
Difference
417-AH 18.95 442-AH 58.33 0
418-AH 64.29 443-AH 50.00 −0.2
−0.4
419-AH 56.52 444-AH 32.00
−0.6
420-AH 43.48 445-AH 50.00
−0.8
421-AH 50.00 446-AH 50.00
−1
422-AH 7.84 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 17.19
425-AH 24.32 450-AH 28.33
429
jadavpur 10.2415/AH-MONO-EN-CLEF2007.JADAVPUR.AHMONOENR1 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,185 Pooled true
Geometric Mean Average Precision 0.0463 AdHoc Monolingual English Run 1
Binary Preference (BPREF) 0.1369
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 45.29 AHMONOENR1
10 31.09 90%
20 21.01
80%
30 15.88
40 12.26 70%
50 9.30
60%
60 7.83
Precision
70 4.91 50%
80 3.23 40%
90 0.54
30%
100 0.47
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
12.33 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7450
Minimum 0.0004
First Quartile 0.0163
Second Quartile 0.0710
Third Quartile 0.1931
Interquartile range 0.1768 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1233
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.1464 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0004 20
Upper Outlier Threshold 0.4232
15
Mean With No Outliers 0.1106
10
Std With No Outliers 0.1169
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries AHMONOENR1
0.8
401-AH 25.56 426-AH 0.21 0.6
402-AH 16.55 427-AH 21.44 0.4
403-AH 1.13 428-AH 7.03 0.2
Difference
404-AH 3.45 429-AH 0.19 0
405-AH 23.95 430-AH 2.51 −0.2
−0.4
406-AH 1.63 431-AH 2.85
−0.6
407-AH 7.80 432-AH 14.17
−0.8
408-AH 33.96 433-AH 39.30
−1
409-AH 4.17 434-AH 36.22 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.83 435-AH 27.00
411-AH 0.25 436-AH 0.04
412-AH 0.78 437-AH 19.31 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
AHMONOENR1
413-AH 11.75 438-AH 9.96 0.8
414-AH 2.52 439-AH 3.47 0.6
415-AH 0.18 440-AH 1.18 0.4
416-AH 7.17 441-AH 16.27 0.2
Difference
417-AH 7.75 442-AH 23.37 0
418-AH 4.05 443-AH 22.19 −0.2
−0.4
419-AH 17.24 444-AH 11.15
−0.6
420-AH 0.53 445-AH 26.48
−0.8
421-AH 42.32 446-AH 14.90
−1
422-AH 1.64 447-AH 74.50 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.38 448-AH 15.91
424-AH 0.60 449-AH 4.92
425-AH 1.71 450-AH 3.79
430
jadavpur 10.2415/AH-MONO-EN-CLEF2007.JADAVPUR.AHMONOENR1 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 22.00 AHMONOENR1
10 docs 17.40 90%
15 docs 16.40
80%
20 docs 15.80
30 docs 14.07 70%
100 docs 8.66
60%
200 docs 5.98
Precision
500 docs 3.61 50%
1000 docs 2.37 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
14.40
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1047
Third Quartile 0.2308
Interquartile range 0.2308 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1440
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.1578 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.4941
Mean With No Outliers 0.1334 10
Std With No Outliers 0.1401
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries AHMONOENR1
0.8
401-AH 16.67 426-AH 1.88 0.6
402-AH 25.81 427-AH 31.25 0.4
403-AH 4.35 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 28.57 430-AH 3.23 −0.2
−0.4
406-AH 4.76 431-AH 5.00
−0.6
407-AH 8.70 432-AH 16.67
−0.8
408-AH 38.89 433-AH 49.41
−1
409-AH 0.00 434-AH 44.14 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.00 435-AH 35.96
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 23.08 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
AHMONOENR1
413-AH 20.00 438-AH 13.33 0.8
414-AH 0.00 439-AH 14.10 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 12.12 441-AH 22.22 0.2
Difference
417-AH 12.63 442-AH 25.00 0
418-AH 0.00 443-AH 38.10 −0.2
−0.4
419-AH 13.04 444-AH 16.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 41.67 446-AH 8.33
−1
422-AH 8.82 447-AH 66.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 15.62
425-AH 2.70 450-AH 8.33
431
jhu-apl 10.2415/AH-MONO-EN-CLEF2007.JHU-APL.APLMOENTD4 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 2,007 Pooled false
Geometric Mean Average Precision 0.3032 4-grams
Binary Preference (BPREF) 0.3917
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 76.71 APLMOENTD4
10 66.44 90%
20 60.45
80%
30 52.02
40 47.52 70%
50 42.30
60%
60 34.23
Precision
70 29.61 50%
80 23.72 40%
90 19.12
30%
100 11.27
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
40.36 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9484
Minimum 0.0120
First Quartile 0.2220
Second Quartile 0.4030
Third Quartile 0.5624
Interquartile range 0.3403 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4036
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2323 5
Number of Topics of the Experiment
Lower Outlier Threshold 0.0120 4
Upper Outlier Threshold 0.9484
3
Mean With No Outliers 0.4036
2
Std With No Outliers 0.2323
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOENTD4
0.8
401-AH 48.23 426-AH 25.45 0.6
402-AH 59.70 427-AH 44.79 0.4
403-AH 8.56 428-AH 46.25 0.2
Difference
404-AH 20.00 429-AH 16.32 0
405-AH 62.63 430-AH 56.20 −0.2
−0.4
406-AH 23.38 431-AH 56.24
−0.6
407-AH 51.39 432-AH 34.87
−0.8
408-AH 33.76 433-AH 73.54
−1
409-AH 26.61 434-AH 89.39 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.03 435-AH 67.70
411-AH 6.64 436-AH 31.57
412-AH 1.20 437-AH 37.05 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOENTD4
413-AH 33.55 438-AH 29.87 0.8
414-AH 77.08 439-AH 3.52 0.6
415-AH 42.61 440-AH 45.10 0.4
416-AH 53.47 441-AH 41.50 0.2
Difference
417-AH 22.20 442-AH 50.99 0
418-AH 69.14 443-AH 15.78 −0.2
−0.4
419-AH 65.21 444-AH 34.51
−0.6
420-AH 54.22 445-AH 5.40
−0.8
421-AH 64.86 446-AH 36.45
−1
422-AH 2.63 447-AH 94.84 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 6.67 448-AH 44.17
424-AH 21.99 449-AH 57.59
425-AH 17.03 450-AH 39.09
432
jhu-apl 10.2415/AH-MONO-EN-CLEF2007.JHU-APL.APLMOENTD4 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 52.40 APLMOENTD4
10 docs 47.60 90%
15 docs 42.13
80%
20 docs 39.70
30 docs 35.07 70%
100 docs 21.78
60%
200 docs 14.22
Precision
500 docs 7.31 50%
1000 docs 4.01 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
40.38
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8649
Minimum 0.0000
First Quartile 0.2632
Second Quartile 0.4271
Third Quartile 0.5238
Interquartile range 0.2607 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4038
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2233 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8649 5
Mean With No Outliers 0.4038 4
3
Std With No Outliers 0.2233
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOENTD4
0.8
401-AH 50.00 426-AH 33.33 0.6
402-AH 56.45 427-AH 43.75 0.4
403-AH 18.84 428-AH 54.55 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 28.57 431-AH 70.00
−0.6
407-AH 47.83 432-AH 37.50
−0.8
408-AH 27.78 433-AH 68.63
−1
409-AH 26.32 434-AH 86.49 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 68.42
411-AH 10.00 436-AH 33.33
412-AH 0.00 437-AH 43.79 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOENTD4
413-AH 40.00 438-AH 36.67 0.8
414-AH 75.00 439-AH 5.13 0.6
415-AH 49.30 440-AH 38.89 0.4
416-AH 51.52 441-AH 44.44 0.2
Difference
417-AH 29.47 442-AH 50.00 0
418-AH 64.29 443-AH 19.05 −0.2
−0.4
419-AH 65.22 444-AH 40.00
−0.6
420-AH 50.00 445-AH 0.00
−0.8
421-AH 50.00 446-AH 41.67
−1
422-AH 7.84 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 56.25
425-AH 10.81 450-AH 41.67
433
jhu-apl 10.2415/AH-MONO-EN-CLEF2007.JHU-APL.APLMOENTD5 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 2,004 Pooled false
Geometric Mean Average Precision 0.3118 5-grams
Binary Preference (BPREF) 0.4198
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 76.89 APLMOENTD5
10 66.98 90%
20 62.85
80%
30 56.95
40 51.54 70%
50 46.48
60%
60 38.48
Precision
70 34.53 50%
80 27.17 40%
90 21.29
30%
100 13.66
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
43.42 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0045
First Quartile 0.2320
Second Quartile 0.4660
Third Quartile 0.6289
Interquartile range 0.3970 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4342
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2534 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0045
6
Upper Outlier Threshold 0.9762 5
Mean With No Outliers 0.4342 4
3
Std With No Outliers 0.2534
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOENTD5
0.8
401-AH 50.21 426-AH 23.20 0.6
402-AH 59.13 427-AH 46.26 0.4
403-AH 7.96 428-AH 46.93 0.2
Difference
404-AH 7.14 429-AH 28.31 0
405-AH 62.25 430-AH 58.14 −0.2
−0.4
406-AH 19.39 431-AH 64.96
−0.6
407-AH 83.77 432-AH 29.14
−0.8
408-AH 47.05 433-AH 72.84
−1
409-AH 30.27 434-AH 93.54 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 60.36 435-AH 64.25
411-AH 5.97 436-AH 33.56
412-AH 0.45 437-AH 43.08 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOENTD5
413-AH 29.50 438-AH 15.78 0.8
414-AH 75.00 439-AH 4.21 0.6
415-AH 39.20 440-AH 42.62 0.4
416-AH 64.62 441-AH 63.02 0.2
Difference
417-AH 19.11 442-AH 55.97 0
418-AH 76.43 443-AH 62.89 −0.2
−0.4
419-AH 57.85 444-AH 30.96
−0.6
420-AH 58.38 445-AH 63.86
−0.8
421-AH 66.42 446-AH 8.15
−1
422-AH 2.97 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 5.88 448-AH 55.06
424-AH 27.15 449-AH 52.87
425-AH 11.14 450-AH 46.00
434
jhu-apl 10.2415/AH-MONO-EN-CLEF2007.JHU-APL.APLMOENTD5 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 54.40 APLMOENTD5
10 docs 50.00 90%
15 docs 44.13
80%
20 docs 41.50
30 docs 36.00 70%
100 docs 22.22
60%
200 docs 14.37
Precision
500 docs 7.35 50%
1000 docs 4.01 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
42.55
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9189
Minimum 0.0000
First Quartile 0.2947
Second Quartile 0.4495
Third Quartile 0.5645
Interquartile range 0.2698 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4255
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2389 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9189 5
Mean With No Outliers 0.4255 4
3
Std With No Outliers 0.2389
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOENTD5
0.8
401-AH 33.33 426-AH 33.80 0.6
402-AH 56.45 427-AH 37.50 0.4
403-AH 14.49 428-AH 45.45 0.2
Difference
404-AH 0.00 429-AH 35.59 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 23.81 431-AH 75.00
−0.6
407-AH 78.26 432-AH 33.33
−0.8
408-AH 44.44 433-AH 67.84
−1
409-AH 42.11 434-AH 91.89 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 65.96 435-AH 71.93
411-AH 0.00 436-AH 38.46
412-AH 0.00 437-AH 47.93 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOENTD5
413-AH 40.00 438-AH 13.33 0.8
414-AH 50.00 439-AH 7.69 0.6
415-AH 49.30 440-AH 38.89 0.4
416-AH 63.64 441-AH 55.56 0.2
Difference
417-AH 29.47 442-AH 50.00 0
418-AH 64.29 443-AH 54.76 −0.2
−0.4
419-AH 60.87 444-AH 36.00
−0.6
420-AH 52.17 445-AH 75.00
−0.8
421-AH 50.00 446-AH 8.33
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 20.00 449-AH 53.12
425-AH 8.11 450-AH 41.67
435
jhu-apl 10.2415/AH-MONO-EN-CLEF2007.JHU-APL.APLMOENTDN4 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,999 Pooled true
Geometric Mean Average Precision 0.3290 4-grams
Binary Preference (BPREF) 0.4226
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 81.34 APLMOENTDN4
10 70.50 90%
20 63.05
80%
30 54.64
40 50.41 70%
50 44.75
60%
60 37.99
Precision
70 32.28 50%
80 26.50 40%
90 20.52
30%
100 12.50
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
43.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0312
First Quartile 0.2684
Second Quartile 0.3830
Third Quartile 0.6378
Interquartile range 0.3693 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4335
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2527 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0312
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.4335 4
3
Std With No Outliers 0.2527
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOENTDN4
0.8
401-AH 35.22 426-AH 23.13 0.6
402-AH 66.11 427-AH 37.51 0.4
403-AH 9.51 428-AH 44.28 0.2
Difference
404-AH 100.00 429-AH 24.50 0
405-AH 59.78 430-AH 55.50 −0.2
−0.4
406-AH 27.47 431-AH 43.36
−0.6
407-AH 53.54 432-AH 38.94
−0.8
408-AH 41.19 433-AH 70.03
−1
409-AH 26.84 434-AH 91.85 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.09 435-AH 73.68
411-AH 6.58 436-AH 34.49
412-AH 3.60 437-AH 37.67 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLMOENTDN4
413-AH 37.21 438-AH 30.81 0.8
414-AH 74.70 439-AH 3.12 0.6
415-AH 32.98 440-AH 63.78 0.4
416-AH 51.03 441-AH 4.74 0.2
Difference
417-AH 22.98 442-AH 54.61 0
418-AH 70.41 443-AH 61.20 −0.2
−0.4
419-AH 67.19 444-AH 33.66
−0.6
420-AH 53.69 445-AH 35.13
−0.8
421-AH 61.20 446-AH 74.39
−1
422-AH 5.06 447-AH 94.84 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 6.25 448-AH 36.22
424-AH 7.92 449-AH 64.22
425-AH 16.55 450-AH 28.70
436
jhu-apl 10.2415/AH-MONO-EN-CLEF2007.JHU-APL.APLMOENTDN4 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 55.60 APLMOENTDN4
10 docs 51.20 90%
15 docs 44.67
80%
20 docs 41.90
30 docs 36.47 70%
100 docs 22.22
60%
200 docs 14.28
Precision
500 docs 7.28 50%
1000 docs 4.00 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
43.04
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2712
Second Quartile 0.4167
Third Quartile 0.6094
Interquartile range 0.3382 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4304
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2289 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.4304 4
3
Std With No Outliers 0.2289
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLMOENTDN4
0.8
401-AH 33.33 426-AH 34.27 0.6
402-AH 61.29 427-AH 37.50 0.4
403-AH 20.29 428-AH 45.45 0.2
Difference
404-AH 100.00 429-AH 27.12 0
405-AH 47.62 430-AH 48.39 −0.2
−0.4
406-AH 33.33 431-AH 60.00
−0.6
407-AH 47.83 432-AH 37.50
−0.8
408-AH 33.33 433-AH 64.31
−1
409-AH 26.32 434-AH 89.19 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 70.18
411-AH 10.00 436-AH 34.62
412-AH 11.11 437-AH 45.56 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLMOENTDN4
413-AH 40.00 438-AH 43.33 0.8
414-AH 75.00 439-AH 6.41 0.6
415-AH 36.62 440-AH 61.11 0.4
416-AH 45.45 441-AH 0.00 0.2
Difference
417-AH 30.53 442-AH 50.00 0
418-AH 64.29 443-AH 52.38 −0.2
−0.4
419-AH 69.57 444-AH 36.00
−0.6
420-AH 52.17 445-AH 25.00
−0.8
421-AH 50.00 446-AH 75.00
−1
422-AH 11.76 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 20.00 449-AH 60.94
425-AH 16.22 450-AH 33.33
437
kharagpur 10.2415/AH-MONO-EN-CLEF2007.KHARAGPUR.ENGLISHTITLE AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,374 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,630 Pooled true
Geometric Mean Average Precision 0.1951 AH Bi-lingual Bengali task (English Title run)
Binary Preference (BPREF) 0.2951
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 67.52 ENGLISHTITLE
10 53.81 90%
20 46.16
80%
30 43.04
40 39.34 70%
50 32.21
60%
60 24.48
Precision
70 20.81 50%
80 14.55 40%
90 11.11
30%
100 7.19
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
30.56 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0063
First Quartile 0.1251
Second Quartile 0.2528
Third Quartile 0.4673
Interquartile range 0.3422 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3056
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2285 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0063
6
Upper Outlier Threshold 0.9762 5
Mean With No Outliers 0.3056 4
3
Std With No Outliers 0.2285
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ENGLISHTITLE
0.8
401-AH 46.73 426-AH 7.31 0.6
402-AH 56.60 427-AH 43.97 0.4
403-AH 13.98 428-AH 1.60 0.2
Difference
404-AH 9.09 429-AH 12.51 0
405-AH 40.84 430-AH 55.69 −0.2
−0.4
406-AH 9.64 431-AH 21.34
−0.6
407-AH 39.56 432-AH 21.34
−0.8
408-AH 24.70 433-AH 66.56
−1
409-AH 40.67 434-AH 60.10 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.57 435-AH 47.16
411-AH 6.13 436-AH 1.06
412-AH 0.63 437-AH 44.12 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ENGLISHTITLE
413-AH 27.01 438-AH 7.01 0.8
414-AH 76.23 439-AH 1.81 0.6
415-AH 24.20 440-AH 27.73 0.4
416-AH 40.93 441-AH 17.90 0.2
Difference
417-AH 6.51 442-AH 52.97 0
418-AH 74.75 443-AH 33.12 −0.2
−0.4
419-AH 30.15 444-AH 25.86
−0.6
420-AH 16.69 445-AH 46.93
−0.8
421-AH 52.95 446-AH 20.76
−1
422-AH 1.09 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 16.67 448-AH 24.13
424-AH 40.00 449-AH 12.88
425-AH 8.65 450-AH 13.71
438
kharagpur 10.2415/AH-MONO-EN-CLEF2007.KHARAGPUR.ENGLISHTITLE AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 44.00 ENGLISHTITLE
10 docs 37.80 90%
15 docs 32.93
80%
20 docs 31.40
30 docs 28.53 70%
100 docs 17.22
60%
200 docs 11.31
Precision
500 docs 5.88 50%
1000 docs 3.26 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
31.57
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1356
Second Quartile 0.2855
Third Quartile 0.5000
Interquartile range 0.3644 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3157
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2208 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3157
4
Std With No Outliers 0.2208
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ENGLISHTITLE
0.8
401-AH 50.00 426-AH 15.02 0.6
402-AH 59.68 427-AH 50.00 0.4
403-AH 26.09 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 13.56 0
405-AH 47.62 430-AH 51.61 −0.2
−0.4
406-AH 19.05 431-AH 25.00
−0.6
407-AH 39.13 432-AH 20.83
−0.8
408-AH 11.11 433-AH 65.10
−1
409-AH 47.37 434-AH 55.86 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 53.19 435-AH 54.39
411-AH 0.00 436-AH 7.69
412-AH 3.70 437-AH 52.07 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ENGLISHTITLE
413-AH 26.67 438-AH 6.67 0.8
414-AH 75.00 439-AH 10.26 0.6
415-AH 35.21 440-AH 33.33 0.4
416-AH 39.39 441-AH 22.22 0.2
Difference
417-AH 13.68 442-AH 50.00 0
418-AH 71.43 443-AH 40.48 −0.2
−0.4
419-AH 26.09 444-AH 32.00
−0.6
420-AH 30.43 445-AH 50.00
−0.8
421-AH 50.00 446-AH 25.00
−1
422-AH 3.92 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 40.00 449-AH 18.75
425-AH 8.11 450-AH 18.33
439
kharagpur 10.2415/AH-MONO-EN-CLEF2007.KHARAGPUR.ENGLISHTITLEDESC AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,774 Pooled false
Geometric Mean Average Precision 0.2734 AH Bi-lingual Bengali task (English Title+Desc run)
Binary Preference (BPREF) 0.3454
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 79.05 ENGLISHTITLEDESC
10 64.59 90%
20 56.46
80%
30 48.14
40 41.82 70%
50 37.71
60%
60 28.73
Precision
70 24.39 50%
80 19.41 40%
90 14.81
30%
100 10.95
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.49 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0057
First Quartile 0.1997
Second Quartile 0.3217
Third Quartile 0.5322
Interquartile range 0.3325 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3649
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2248 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0057 5
Upper Outlier Threshold 0.9762 4
Mean With No Outliers 0.3649 3
Std With No Outliers 0.2248 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ENGLISHTITLEDESC
0.8
401-AH 39.98 426-AH 20.96 0.6
402-AH 50.80 427-AH 23.68 0.4
403-AH 17.93 428-AH 30.43 0.2
Difference
404-AH 50.00 429-AH 36.10 0
405-AH 47.98 430-AH 58.03 −0.2
−0.4
406-AH 16.28 431-AH 10.75
−0.6
407-AH 37.54 432-AH 19.97
−0.8
408-AH 41.13 433-AH 81.11
−1
409-AH 44.07 434-AH 70.44 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.00 435-AH 50.97
411-AH 5.00 436-AH 11.05
412-AH 0.57 437-AH 55.92 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ENGLISHTITLEDESC
413-AH 28.60 438-AH 15.45 0.8
414-AH 76.79 439-AH 2.29 0.6
415-AH 29.22 440-AH 33.86 0.4
416-AH 58.90 441-AH 21.30 0.2
Difference
417-AH 11.76 442-AH 56.76 0
418-AH 71.18 443-AH 27.58 −0.2
−0.4
419-AH 59.17 444-AH 38.06
−0.6
420-AH 40.94 445-AH 65.00
−0.8
421-AH 53.22 446-AH 30.49
−1
422-AH 5.03 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 20.18
424-AH 26.74 449-AH 18.26
425-AH 26.88 450-AH 11.29
440
kharagpur 10.2415/AH-MONO-EN-CLEF2007.KHARAGPUR.ENGLISHTITLEDESC AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 54.00 ENGLISHTITLEDESC
10 docs 46.00 90%
15 docs 41.07
80%
20 docs 37.60
30 docs 33.67 70%
100 docs 19.76
60%
200 docs 12.99
Precision
500 docs 6.54 50%
1000 docs 3.55 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.81
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1923
Second Quartile 0.3333
Third Quartile 0.5000
Interquartile range 0.3077 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3481
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2078 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3481
4
Std With No Outliers 0.2078
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ENGLISHTITLEDESC
0.8
401-AH 33.33 426-AH 30.05 0.6
402-AH 51.61 427-AH 25.00 0.4
403-AH 18.84 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 44.07 0
405-AH 52.38 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 15.00
−0.6
407-AH 43.48 432-AH 25.00
−0.8
408-AH 38.89 433-AH 74.12
−1
409-AH 42.11 434-AH 63.96 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.83 435-AH 52.63
411-AH 0.00 436-AH 19.23
412-AH 3.70 437-AH 53.85 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ENGLISHTITLEDESC
413-AH 26.67 438-AH 10.00 0.8
414-AH 50.00 439-AH 8.97 0.6
415-AH 38.03 440-AH 33.33 0.4
416-AH 66.67 441-AH 22.22 0.2
Difference
417-AH 23.16 442-AH 50.00 0
418-AH 71.43 443-AH 35.71 −0.2
−0.4
419-AH 52.17 444-AH 32.00
−0.6
420-AH 36.96 445-AH 50.00
−0.8
421-AH 50.00 446-AH 33.33
−1
422-AH 15.69 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 23.44
425-AH 35.14 450-AH 16.67
441
kharagpur 10.2415/AH-MONO-EN-CLEF2007.KHARAGPUR.ENGLISHTITLEDESCNARR AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,757 Pooled false
Geometric Mean Average Precision 0.2351 AH Bi-lingual Bengali task (English Title+Desc+Narr
Binary Preference (BPREF) 0.3565 run)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 75.12 ENGLISHTITLEDESCNARR
10 63.90 90%
20 54.02
80%
30 46.79
40 42.05 70%
50 36.93
60%
60 29.48
Precision
70 24.80 50%
80 19.88 40%
90 14.42
30%
100 8.23
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
36.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0084
First Quartile 0.1545
Second Quartile 0.3404
Third Quartile 0.5296
Interquartile range 0.3751 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3616
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2514 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0084 5
Upper Outlier Threshold 0.9762 4
Mean With No Outliers 0.3616 3
Std With No Outliers 0.2514 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries ENGLISHTITLEDESCNARR
0.8
401-AH 39.46 426-AH 21.86 0.6
402-AH 71.14 427-AH 21.30 0.4
403-AH 15.00 428-AH 23.76 0.2
Difference
404-AH 33.33 429-AH 42.91 0
405-AH 50.09 430-AH 49.78 −0.2
−0.4
406-AH 18.29 431-AH 15.69
−0.6
407-AH 41.57 432-AH 20.59
−0.8
408-AH 35.14 433-AH 79.74
−1
409-AH 50.28 434-AH 75.52 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.78 435-AH 68.52
411-AH 3.87 436-AH 5.70
412-AH 0.84 437-AH 62.31 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
ENGLISHTITLEDESCNARR
413-AH 33.21 438-AH 15.45 0.8
414-AH 75.00 439-AH 1.07 0.6
415-AH 31.82 440-AH 39.18 0.4
416-AH 57.35 441-AH 22.84 0.2
Difference
417-AH 7.58 442-AH 59.15 0
418-AH 71.50 443-AH 43.80 −0.2
−0.4
419-AH 62.58 444-AH 34.93
−0.6
420-AH 34.75 445-AH 47.88
−0.8
421-AH 52.96 446-AH 32.44
−1
422-AH 2.29 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.02 448-AH 7.95
424-AH 12.68 449-AH 12.50
425-AH 22.21 450-AH 3.67
442
kharagpur 10.2415/AH-MONO-EN-CLEF2007.KHARAGPUR.ENGLISHTITLEDESCNARR AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 53.60 ENGLISHTITLEDESCNARR
10 docs 45.60 90%
15 docs 40.80
80%
20 docs 36.90
30 docs 34.27 70%
100 docs 19.96
60%
200 docs 12.94
Precision
500 docs 6.45 50%
1000 docs 3.51 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.99
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1684
Second Quartile 0.3333
Third Quartile 0.5000
Interquartile range 0.3316 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3499
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2273 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 5
Upper Outlier Threshold 0.8333 4
Mean With No Outliers 0.3499 3
Std With No Outliers 0.2273 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ENGLISHTITLEDESCNARR
0.8
401-AH 33.33 426-AH 30.52 0.6
402-AH 64.52 427-AH 25.00 0.4
403-AH 14.49 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 49.15 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 28.57 431-AH 10.00
−0.6
407-AH 43.48 432-AH 20.83
−0.8
408-AH 33.33 433-AH 73.33
−1
409-AH 52.63 434-AH 69.37 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 64.91
411-AH 0.00 436-AH 10.26
412-AH 3.70 437-AH 60.95 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ENGLISHTITLEDESCNARR
413-AH 33.33 438-AH 10.00 0.8
414-AH 50.00 439-AH 6.41 0.6
415-AH 39.44 440-AH 38.89 0.4
416-AH 60.61 441-AH 22.22 0.2
Difference
417-AH 16.84 442-AH 50.00 0
418-AH 71.43 443-AH 50.00 −0.2
−0.4
419-AH 60.87 444-AH 36.00
−0.6
420-AH 36.96 445-AH 25.00
−0.8
421-AH 50.00 446-AH 41.67
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 17.19
425-AH 29.73 450-AH 13.33
443
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.2007_LM_ALL_MONO_1000_POSSCORES AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,918 Pooled false
Geometric Mean Average Precision 0.2831 LM_all_Mono_1000_posScores
Binary Preference (BPREF) 0.4003
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 75.04 2007_LM_ALL_MONO_1000_POSSCORES
10 65.63 90%
20 60.08
80%
30 52.87
40 44.78 70%
50 41.44
60%
60 35.17
Precision
70 30.34 50%
80 22.11 40%
90 16.03
30%
100 8.19
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.64 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0028
First Quartile 0.2183
Second Quartile 0.3493
Third Quartile 0.6236
Interquartile range 0.4053 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3964
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2503 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0028
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3964 4
3
Std With No Outliers 0.2503
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries 2007_LM_ALL_MONO_1000_POSSCORES
0.8
401-AH 38.92 426-AH 17.46 0.6
402-AH 64.18 427-AH 25.12 0.4
403-AH 18.19 428-AH 26.74 0.2
Difference
404-AH 100.00 429-AH 44.54 0
405-AH 58.35 430-AH 45.94 −0.2
−0.4
406-AH 27.78 431-AH 18.88
−0.6
407-AH 48.97 432-AH 21.68
−0.8
408-AH 34.68 433-AH 73.48
−1
409-AH 38.02 434-AH 69.54 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 73.38 435-AH 71.02
411-AH 5.87 436-AH 29.07
412-AH 7.04 437-AH 65.24 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
2007_LM_ALL_MONO_1000_POSSCORES
413-AH 31.27 438-AH 24.01 0.8
414-AH 68.88 439-AH 3.70 0.6
415-AH 29.23 440-AH 50.26 0.4
416-AH 69.95 441-AH 25.02 0.2
Difference
417-AH 21.83 442-AH 61.78 0
418-AH 67.81 443-AH 62.36 −0.2
−0.4
419-AH 56.55 444-AH 35.19
−0.6
420-AH 41.36 445-AH 76.41
−0.8
421-AH 43.11 446-AH 28.17
−1
422-AH 4.61 447-AH 88.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.28 448-AH 12.73
424-AH 3.96 449-AH 22.02
425-AH 22.46 450-AH 6.70
444
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.2007_LM_ALL_MONO_1000_POSSCORES AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 52.80 2007_LM_ALL_MONO_1000_POSSCORES
10 docs 45.40 90%
15 docs 43.60
80%
20 docs 39.80
30 docs 36.20 70%
100 docs 21.42
60%
200 docs 13.98
Precision
500 docs 7.11 50%
1000 docs 3.84 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
40.70
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2500
Second Quartile 0.3333
Third Quartile 0.5833
Interquartile range 0.3333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4070
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2299 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.4070 4
3
Std With No Outliers 0.2299
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
queries 2007_LM_ALL_MONO_1000_POSSCORES
0.8
401-AH 33.33 426-AH 31.46 0.6
402-AH 58.06 427-AH 25.00 0.4
403-AH 21.74 428-AH 27.27 0.2
Difference
404-AH 100.00 429-AH 42.37 0
405-AH 52.38 430-AH 38.71 −0.2
−0.4
406-AH 33.33 431-AH 25.00
−0.6
407-AH 52.17 432-AH 20.83
−0.8
408-AH 38.89 433-AH 67.84
−1
409-AH 36.84 434-AH 70.27 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 70.21 435-AH 65.79
411-AH 10.00 436-AH 32.05
412-AH 11.11 437-AH 62.72 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
2007_LM_ALL_MONO_1000_POSSCORES
413-AH 26.67 438-AH 23.33 0.8
414-AH 75.00 439-AH 3.85 0.6
415-AH 32.39 440-AH 50.00 0.4
416-AH 72.73 441-AH 33.33 0.2
Difference
417-AH 29.47 442-AH 58.33 0
418-AH 64.29 443-AH 54.76 −0.2
−0.4
419-AH 60.87 444-AH 32.00
−0.6
420-AH 45.65 445-AH 75.00
−0.8
421-AH 50.00 446-AH 25.00
−1
422-AH 12.75 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 29.69
425-AH 32.43 450-AH 11.67
445
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.2007_RBLM_ALL_MONO_1000_POSSCORES AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,906 Pooled true
Geometric Mean Average Precision 0.2416 RBLM_all_Mono_1000_posScores_tdn
Binary Preference (BPREF) 0.3527
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 72.49 2007_RBLM_ALL_MONO_1000_POSSCORES
10 63.05 90%
20 57.08
80%
30 50.04
40 41.64 70%
50 35.57
60%
60 27.16
Precision
70 22.77 50%
80 16.24 40%
90 10.85
30%
100 7.04
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
35.13 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0093
First Quartile 0.1595
Second Quartile 0.3047
Third Quartile 0.5017
Interquartile range 0.3422 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3513
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2391 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0093
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3513 4
3
Std With No Outliers 0.2391
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries 2007_RBLM_ALL_MONO_1000_POSSCORES
0.8
401-AH 43.14 426-AH 15.95 0.6
402-AH 29.87 427-AH 26.49 0.4
403-AH 15.53 428-AH 20.52 0.2
Difference
404-AH 100.00 429-AH 43.57 0
405-AH 43.69 430-AH 48.72 −0.2
−0.4
406-AH 28.12 431-AH 25.60
−0.6
407-AH 34.64 432-AH 26.14
−0.8
408-AH 29.79 433-AH 68.80
−1
409-AH 27.96 434-AH 75.48 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 61.24 435-AH 57.85
411-AH 4.27 436-AH 21.87
412-AH 5.32 437-AH 59.92 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
2007_RBLM_ALL_MONO_1000_POSSCORES
413-AH 23.07 438-AH 18.61 0.8
414-AH 60.09 439-AH 1.33 0.6
415-AH 35.17 440-AH 33.03 0.4
416-AH 46.81 441-AH 12.25 0.2
Difference
417-AH 12.26 442-AH 50.61 0
418-AH 57.44 443-AH 50.17 −0.2
−0.4
419-AH 51.32 444-AH 31.07
−0.6
420-AH 42.35 445-AH 75.13
−0.8
421-AH 46.27 446-AH 23.46
−1
422-AH 5.36 447-AH 94.84 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.93 448-AH 8.71
424-AH 1.51 449-AH 42.03
425-AH 14.76 450-AH 3.47
446
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.2007_RBLM_ALL_MONO_1000_POSSCORES AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 50.80 2007_RBLM_ALL_MONO_1000_POSSCORES
10 docs 45.40 90%
15 docs 39.07
80%
20 docs 36.90
30 docs 31.80 70%
100 docs 19.52
60%
200 docs 12.72
Precision
500 docs 6.64 50%
1000 docs 3.81 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.02
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2211
Second Quartile 0.3717
Third Quartile 0.5000
Interquartile range 0.2789 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3702
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2244 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3574 4
3
Std With No Outliers 0.2073
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
queries 2007_RBLM_ALL_MONO_1000_POSSCORES
0.8
401-AH 33.33 426-AH 28.17 0.6
402-AH 25.81 427-AH 18.75 0.4
403-AH 26.09 428-AH 36.36 0.2
Difference
404-AH 100.00 429-AH 44.07 0
405-AH 42.86 430-AH 45.16 −0.2
−0.4
406-AH 38.10 431-AH 40.00
−0.6
407-AH 39.13 432-AH 37.50
−0.8
408-AH 33.33 433-AH 65.49
−1
409-AH 36.84 434-AH 77.48 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 59.57 435-AH 62.28
411-AH 0.00 436-AH 29.49
412-AH 11.11 437-AH 55.62 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
2007_RBLM_ALL_MONO_1000_POSSCORES
413-AH 26.67 438-AH 16.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 39.44 440-AH 33.33 0.4
416-AH 48.48 441-AH 11.11 0.2
Difference
417-AH 22.11 442-AH 50.00 0
418-AH 50.00 443-AH 47.62 −0.2
−0.4
419-AH 56.52 444-AH 36.00
−0.6
420-AH 45.65 445-AH 75.00
−0.8
421-AH 50.00 446-AH 33.33
−1
422-AH 14.71 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 50.00
425-AH 16.22 450-AH 8.33
447
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.LM_ALL_MONO_TD_1000_POSSCORES AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,951 Pooled false
Geometric Mean Average Precision 0.3147 LM_all_Mono_TD_1000_posScores
Binary Preference (BPREF) 0.3889
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 78.09 LM_ALL_MONO_TD_1000_POSSCORES
10 63.70 90%
20 58.91
80%
30 53.14
40 44.74 70%
50 40.12
60%
60 33.84
Precision
70 29.77 50%
80 21.23 40%
90 15.42
30%
100 8.83
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0379
First Quartile 0.2249
Second Quartile 0.3681
Third Quartile 0.5646
Interquartile range 0.3397 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3916
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2277 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0379
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3916 4
3
Std With No Outliers 0.2277
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries LM_ALL_MONO_TD_1000_POSSCORES
0.8
401-AH 40.59 426-AH 18.10 0.6
402-AH 50.27 427-AH 23.10 0.4
403-AH 21.89 428-AH 36.56 0.2
Difference
404-AH 100.00 429-AH 37.71 0
405-AH 61.36 430-AH 56.46 −0.2
−0.4
406-AH 33.61 431-AH 19.50
−0.6
407-AH 46.44 432-AH 21.78
−0.8
408-AH 38.05 433-AH 77.23
−1
409-AH 37.05 434-AH 38.01 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 63.54 435-AH 62.12
411-AH 6.32 436-AH 28.54
412-AH 3.79 437-AH 67.88 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
LM_ALL_MONO_TD_1000_POSSCORES
413-AH 28.58 438-AH 18.01 0.8
414-AH 68.93 439-AH 7.15 0.6
415-AH 28.22 440-AH 38.69 0.4
416-AH 67.83 441-AH 24.37 0.2
Difference
417-AH 25.91 442-AH 59.10 0
418-AH 64.36 443-AH 45.34 −0.2
−0.4
419-AH 54.03 444-AH 33.39
−0.6
420-AH 45.85 445-AH 77.86
−0.8
421-AH 39.24 446-AH 36.15
−1
422-AH 6.34 447-AH 88.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 5.56 448-AH 23.49
424-AH 9.50 449-AH 28.20
425-AH 21.21 450-AH 22.49
448
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.LM_ALL_MONO_TD_1000_POSSCORES AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 52.00 LM_ALL_MONO_TD_1000_POSSCORES
10 docs 45.60 90%
15 docs 40.13
80%
20 docs 38.00
30 docs 34.53 70%
100 docs 21.46
60%
200 docs 14.12
Precision
500 docs 7.28 50%
1000 docs 3.90 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.99
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2667
Second Quartile 0.3806
Third Quartile 0.5000
Interquartile range 0.2333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3999
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2192 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3877 4
3
Std With No Outliers 0.2035
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
queries LM_ALL_MONO_TD_1000_POSSCORES
0.8
401-AH 33.33 426-AH 27.70 0.6
402-AH 46.77 427-AH 18.75 0.4
403-AH 30.43 428-AH 45.45 0.2
Difference
404-AH 100.00 429-AH 40.68 0
405-AH 57.14 430-AH 48.39 −0.2
−0.4
406-AH 38.10 431-AH 20.00
−0.6
407-AH 47.83 432-AH 20.83
−0.8
408-AH 38.89 433-AH 71.37
−1
409-AH 31.58 434-AH 43.24 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 65.96 435-AH 62.28
411-AH 0.00 436-AH 35.90
412-AH 0.00 437-AH 65.68 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
LM_ALL_MONO_TD_1000_POSSCORES
413-AH 26.67 438-AH 20.00 0.8
414-AH 75.00 439-AH 16.67 0.6
415-AH 38.03 440-AH 38.89 0.4
416-AH 72.73 441-AH 33.33 0.2
Difference
417-AH 35.79 442-AH 50.00 0
418-AH 57.14 443-AH 42.86 −0.2
−0.4
419-AH 56.52 444-AH 36.00
−0.6
420-AH 47.83 445-AH 75.00
−0.8
421-AH 41.67 446-AH 33.33
−1
422-AH 14.71 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 32.81
425-AH 24.32 450-AH 31.67
449
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.RBLM_ALL_MONO_TD_1000_POSSCORES AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,956 Pooled false
Geometric Mean Average Precision 0.2837 RBLM_all_Mono_TD_1000_posScores
Binary Preference (BPREF) 0.3783
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 76.89 RBLM_ALL_MONO_TD_1000_POSSCORES
10 65.49 90%
20 59.69
80%
30 52.07
40 46.23 70%
50 39.67
60%
60 28.81
Precision
70 23.83 50%
80 17.36 40%
90 11.85
30%
100 7.52
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
37.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0141
First Quartile 0.2033
Second Quartile 0.3352
Third Quartile 0.5228
Interquartile range 0.3195 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3735
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2251 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0141
6
Upper Outlier Threshold 1.0000 5
Mean With No Outliers 0.3735 4
3
Std With No Outliers 0.2251
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries RBLM_ALL_MONO_TD_1000_POSSCORES
0.8
401-AH 46.77 426-AH 17.99 0.6
402-AH 37.68 427-AH 25.96 0.4
403-AH 18.21 428-AH 33.61 0.2
Difference
404-AH 100.00 429-AH 32.55 0
405-AH 44.04 430-AH 53.04 −0.2
−0.4
406-AH 33.43 431-AH 22.13
−0.6
407-AH 36.09 432-AH 26.15
−0.8
408-AH 34.53 433-AH 76.69
−1
409-AH 28.80 434-AH 59.94 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 56.92 435-AH 62.39
411-AH 4.47 436-AH 27.23
412-AH 2.97 437-AH 66.02 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
RBLM_ALL_MONO_TD_1000_POSSCORES
413-AH 20.33 438-AH 16.73 0.8
414-AH 59.35 439-AH 3.54 0.6
415-AH 31.16 440-AH 31.67 0.4
416-AH 52.95 441-AH 24.89 0.2
Difference
417-AH 12.44 442-AH 51.16 0
418-AH 56.41 443-AH 48.11 −0.2
−0.4
419-AH 52.28 444-AH 31.03
−0.6
420-AH 49.65 445-AH 68.90
−0.8
421-AH 49.37 446-AH 45.97
−1
422-AH 7.58 447-AH 91.51 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 1.41 448-AH 24.02
424-AH 6.13 449-AH 47.89
425-AH 15.17 450-AH 20.09
450
msindia 10.2415/AH-MONO-EN-CLEF2007.MSINDIA.RBLM_ALL_MONO_TD_1000_POSSCORES AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 51.60 RBLM_ALL_MONO_TD_1000_POSSCORES
10 docs 45.60 90%
15 docs 42.13
80%
20 docs 39.00
30 docs 33.93 70%
100 docs 20.22
60%
200 docs 13.36
Precision
500 docs 6.99 50%
1000 docs 3.91 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.31
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.2778
Second Quartile 0.3811
Third Quartile 0.5000
Interquartile range 0.2222 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3931
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2184 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3808
4
Std With No Outliers 0.2022
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
1
queries RBLM_ALL_MONO_TD_1000_POSSCORES
0.8
401-AH 50.00 426-AH 31.92 0.6
402-AH 37.10 427-AH 25.00 0.4
403-AH 28.99 428-AH 45.45 0.2
Difference
404-AH 100.00 429-AH 33.90 0
405-AH 47.62 430-AH 51.61 −0.2
−0.4
406-AH 28.57 431-AH 35.00
−0.6
407-AH 39.13 432-AH 33.33
−0.8
408-AH 27.78 433-AH 69.80
−1
409-AH 42.11 434-AH 63.96 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 65.96 435-AH 64.04
411-AH 0.00 436-AH 33.33
412-AH 0.00 437-AH 62.72 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
1
RBLM_ALL_MONO_TD_1000_POSSCORES
413-AH 26.67 438-AH 13.33 0.8
414-AH 50.00 439-AH 2.56 0.6
415-AH 35.21 440-AH 27.78 0.4
416-AH 54.55 441-AH 44.44 0.2
Difference
417-AH 17.89 442-AH 50.00 0
418-AH 57.14 443-AH 50.00 −0.2
−0.4
419-AH 47.83 444-AH 32.00
−0.6
420-AH 50.00 445-AH 75.00
−0.8
421-AH 50.00 446-AH 41.67
−1
422-AH 14.71 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 54.69
425-AH 16.22 450-AH 28.33
451
nottingham 10.2415/AH-MONO-EN-CLEF2007.NOTTINGHAM.MONOT AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title
Relevant retrieved 1,854 Pooled true
Geometric Mean Average Precision 0.2661 monolingual title
Binary Preference (BPREF) 0.4182
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 74.06 MONOT
10 67.45 90%
20 61.06
80%
30 56.99
40 53.53 70%
50 48.42
60%
60 39.41
Precision
70 32.34 50%
80 25.08 40%
90 19.15
30%
100 9.98
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
42.74 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0023
First Quartile 0.2093
Second Quartile 0.4359
Third Quartile 0.6421
Interquartile range 0.4329 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.4274
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2741 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0023 5
Upper Outlier Threshold 0.9762 4
Mean With No Outliers 0.4274 3
Std With No Outliers 0.2741 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOT
0.8
401-AH 47.25 426-AH 20.93 0.6
402-AH 50.94 427-AH 34.56 0.4
403-AH 0.23 428-AH 1.57 0.2
Difference
404-AH 16.67 429-AH 33.14 0
405-AH 38.87 430-AH 73.21 −0.2
−0.4
406-AH 19.11 431-AH 75.43
−0.6
407-AH 79.24 432-AH 26.76
−0.8
408-AH 27.83 433-AH 79.96
−1
409-AH 25.32 434-AH 77.56 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.08 435-AH 75.84
411-AH 11.96 436-AH 0.33
412-AH 3.63 437-AH 64.21 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOT
413-AH 36.75 438-AH 22.07 0.8
414-AH 68.57 439-AH 2.96 0.6
415-AH 47.33 440-AH 25.76 0.4
416-AH 72.56 441-AH 54.90 0.2
Difference
417-AH 27.03 442-AH 58.78 0
418-AH 46.53 443-AH 62.61 −0.2
−0.4
419-AH 62.81 444-AH 40.65
−0.6
420-AH 55.35 445-AH 47.62
−0.8
421-AH 59.41 446-AH 73.80
−1
422-AH 1.40 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 10.00 448-AH 95.00
424-AH 16.21 449-AH 51.60
425-AH 6.90 450-AH 30.02
452
nottingham 10.2415/AH-MONO-EN-CLEF2007.NOTTINGHAM.MONOT AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 56.00 MONOT
10 docs 49.80 90%
15 docs 45.33
80%
20 docs 42.30
30 docs 37.67 70%
100 docs 21.14
60%
200 docs 13.41
Precision
500 docs 6.82 50%
1000 docs 3.71 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
41.85
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2222
Second Quartile 0.4881
Third Quartile 0.6190
Interquartile range 0.3968 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.4185
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2605 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.4185
4
Std With No Outliers 0.2605
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOT
0.8
401-AH 50.00 426-AH 30.05 0.6
402-AH 51.61 427-AH 31.25 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 33.90 0
405-AH 47.62 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 75.00
−0.6
407-AH 82.61 432-AH 20.83
−0.8
408-AH 22.22 433-AH 72.94
−1
409-AH 31.58 434-AH 72.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 68.42
411-AH 0.00 436-AH 1.28
412-AH 0.00 437-AH 56.80 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOT
413-AH 40.00 438-AH 23.33 0.8
414-AH 50.00 439-AH 3.85 0.6
415-AH 50.70 440-AH 33.33 0.4
416-AH 72.73 441-AH 66.67 0.2
Difference
417-AH 32.63 442-AH 58.33 0
418-AH 50.00 443-AH 61.90 −0.2
−0.4
419-AH 65.22 444-AH 40.00
−0.6
420-AH 56.52 445-AH 50.00
−0.8
421-AH 58.33 446-AH 75.00
−1
422-AH 4.90 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 40.00 449-AH 57.81
425-AH 5.41 450-AH 40.00
453
nottingham 10.2415/AH-MONO-EN-CLEF2007.NOTTINGHAM.MONOTD AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,907 Pooled false
Geometric Mean Average Precision 0.2668 monolingual title+description
Binary Preference (BPREF) 0.3949
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 75.09 MONOTD
10 65.14 90%
20 60.04
80%
30 54.00
40 48.43 70%
50 41.42
60%
60 34.44
Precision
70 28.60 50%
80 21.16 40%
90 15.04
30%
100 8.80
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
39.28 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8734
Minimum 0.0113
First Quartile 0.2000
Second Quartile 0.4174
Third Quartile 0.5686
Interquartile range 0.3686 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3928
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2422 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0113 5
Upper Outlier Threshold 0.8734 4
Mean With No Outliers 0.3928 3
Std With No Outliers 0.2422 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries MONOTD
0.8
401-AH 45.90 426-AH 20.56 0.6
402-AH 34.89 427-AH 27.69 0.4
403-AH 6.71 428-AH 34.54 0.2
Difference
404-AH 20.00 429-AH 32.68 0
405-AH 54.30 430-AH 63.35 −0.2
−0.4
406-AH 25.93 431-AH 1.37
−0.6
407-AH 79.24 432-AH 31.27
−0.8
408-AH 55.49 433-AH 74.79
−1
409-AH 37.82 434-AH 59.51 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.14 435-AH 68.22
411-AH 6.14 436-AH 3.10
412-AH 3.63 437-AH 67.67 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
MONOTD
413-AH 29.40 438-AH 18.14 0.8
414-AH 79.17 439-AH 1.13 0.6
415-AH 41.56 440-AH 44.85 0.4
416-AH 54.35 441-AH 29.34 0.2
Difference
417-AH 10.14 442-AH 58.86 0
418-AH 48.07 443-AH 48.15 −0.2
−0.4
419-AH 71.98 444-AH 41.92
−0.6
420-AH 61.60 445-AH 46.81
−0.8
421-AH 49.98 446-AH 53.56
−1
422-AH 2.66 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.70 448-AH 56.86
424-AH 6.84 449-AH 53.08
425-AH 13.63 450-AH 30.02
454
nottingham 10.2415/AH-MONO-EN-CLEF2007.NOTTINGHAM.MONOTD AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 50.00 MONOTD
10 docs 44.20 90%
15 docs 41.87
80%
20 docs 39.30
30 docs 34.53 70%
100 docs 20.28
60%
200 docs 13.44
Precision
500 docs 6.90 50%
1000 docs 3.81 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
39.73
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.2000
Second Quartile 0.4222
Third Quartile 0.5781
Interquartile range 0.3781 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3973
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2379 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3973 4
3
Std With No Outliers 0.2379
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries MONOTD
0.8
401-AH 33.33 426-AH 33.33 0.6
402-AH 32.26 427-AH 25.00 0.4
403-AH 15.94 428-AH 36.36 0.2
Difference
404-AH 0.00 429-AH 37.29 0
405-AH 57.14 430-AH 51.61 −0.2
−0.4
406-AH 33.33 431-AH 0.00
−0.6
407-AH 82.61 432-AH 29.17
−0.8
408-AH 55.56 433-AH 69.02
−1
409-AH 36.84 434-AH 63.96 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 66.67
411-AH 0.00 436-AH 3.85
412-AH 0.00 437-AH 65.09 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
MONOTD
413-AH 33.33 438-AH 13.33 0.8
414-AH 75.00 439-AH 1.28 0.6
415-AH 39.44 440-AH 50.00 0.4
416-AH 60.61 441-AH 44.44 0.2
Difference
417-AH 14.74 442-AH 58.33 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 60.87 444-AH 48.00
−0.6
420-AH 56.52 445-AH 50.00
−0.8
421-AH 50.00 446-AH 58.33
−1
422-AH 6.86 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 57.81
425-AH 13.51 450-AH 40.00
455
stockholm 10.2415/AH-MONO-EN-CLEF2007.STOCKHOLM.DSV_ENG_MONO_LONG AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,435 Pooled false
Geometric Mean Average Precision 0.0735 English monolingual run with long queries
Binary Preference (BPREF) 0.2546
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 56.40 DSV_ENG_MONO_LONG
10 44.38 90%
20 38.67
80%
30 32.03
40 28.33 70%
50 24.25
60%
60 18.06
Precision
70 14.84 50%
80 11.88 40%
90 9.00
30%
100 5.96
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
24.05 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8000
Minimum 0.0001
First Quartile 0.0467
Second Quartile 0.1671
Third Quartile 0.4007
Interquartile range 0.3540 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2405
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2286 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001
Upper Outlier Threshold 0.8000 10
Mean With No Outliers 0.2405
Std With No Outliers 0.2286 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries DSV_ENG_MONO_LONG
0.8
401-AH 18.18 426-AH 4.23 0.6
402-AH 11.73 427-AH 0.01 0.4
403-AH 22.65 428-AH 7.79 0.2
Difference
404-AH 25.00 429-AH 20.35 0
405-AH 46.37 430-AH 0.37 −0.2
−0.4
406-AH 12.33 431-AH 1.76
−0.6
407-AH 35.69 432-AH 0.01
−0.8
408-AH 33.73 433-AH 62.77
−1
409-AH 53.10 434-AH 71.37 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 71.50 435-AH 42.47
411-AH 9.91 436-AH 0.05
412-AH 23.69 437-AH 65.17 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
DSV_ENG_MONO_LONG
413-AH 4.23 438-AH 13.74 0.8
414-AH 50.26 439-AH 0.01 0.6
415-AH 15.24 440-AH 29.12 0.4
416-AH 50.78 441-AH 45.97 0.2
Difference
417-AH 4.67 442-AH 40.07 0
418-AH 63.37 443-AH 25.14 −0.2
−0.4
419-AH 14.70 444-AH 27.10
−0.6
420-AH 23.54 445-AH 0.09
−0.8
421-AH 32.11 446-AH 5.65
−1
422-AH 0.01 447-AH 80.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 12.50 448-AH 7.53
424-AH 1.26 449-AH 6.53
425-AH 4.93 450-AH 3.90
456
stockholm 10.2415/AH-MONO-EN-CLEF2007.STOCKHOLM.DSV_ENG_MONO_LONG AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 35.60 DSV_ENG_MONO_LONG
10 docs 34.40 90%
15 docs 30.27
80%
20 docs 29.00
30 docs 26.60 70%
100 docs 14.96
60%
200 docs 9.55
Precision
500 docs 4.98 50%
1000 docs 2.87 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
25.50
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0500
Second Quartile 0.2216
Third Quartile 0.4167
Interquartile range 0.3667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2550
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2237 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.2550
Std With No Outliers 0.2237 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_ENG_MONO_LONG
0.8
401-AH 33.33 426-AH 9.39 0.6
402-AH 16.13 427-AH 0.00 0.4
403-AH 23.19 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 27.12 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 23.81 431-AH 5.00
−0.6
407-AH 52.17 432-AH 0.00
−0.8
408-AH 38.89 433-AH 56.08
−1
409-AH 52.63 434-AH 64.86 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 61.70 435-AH 50.00
411-AH 0.00 436-AH 1.28
412-AH 37.04 437-AH 62.13 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_ENG_MONO_LONG
413-AH 13.33 438-AH 13.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 21.13 440-AH 38.89 0.4
416-AH 39.39 441-AH 44.44 0.2
Difference
417-AH 14.74 442-AH 41.67 0
418-AH 57.14 443-AH 40.48 −0.2
−0.4
419-AH 8.70 444-AH 28.00
−0.6
420-AH 34.78 445-AH 0.00
−0.8
421-AH 33.33 446-AH 8.33
−1
422-AH 0.00 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 14.06
425-AH 8.11 450-AH 15.00
457
stockholm 10.2415/AH-MONO-EN-CLEF2007.STOCKHOLM.DSV_ENG_MONO_RUN0 AH-MONO-EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,112 Source Language English
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,399 Pooled true
Geometric Mean Average Precision 0.0640 English monolingual run
Binary Preference (BPREF) 0.2380
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Standard Recall Levels vs Mean Interpolated Precis
100%
0 52.61 DSV_ENG_MONO_RUN0
10 41.72 90%
20 33.49
80%
30 30.47
40 27.59 70%
50 24.65
60%
60 18.77
Precision
70 15.19 50%
80 11.84 40%
90 8.97
30%
100 6.73
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
22.84 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8179
Minimum 0.0001
First Quartile 0.0457
Second Quartile 0.1616
Third Quartile 0.3345
Interquartile range 0.2887 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2284
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2263 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001
Upper Outlier Threshold 0.6750 10
Mean With No Outliers 0.2164
Std With No Outliers 0.2119 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
1
queries DSV_ENG_MONO_RUN0
0.8
401-AH 20.79 426-AH 9.25 0.6
402-AH 0.01 427-AH 0.01 0.4
403-AH 23.34 428-AH 6.80 0.2
Difference
404-AH 25.00 429-AH 19.59 0
405-AH 52.07 430-AH 0.69 −0.2
−0.4
406-AH 16.54 431-AH 1.51
−0.6
407-AH 41.01 432-AH 0.01
−0.8
408-AH 33.45 433-AH 64.82
−1
409-AH 51.09 434-AH 67.50 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.08 435-AH 41.99
411-AH 9.52 436-AH 0.04
412-AH 29.22 437-AH 63.58 Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
1
DSV_ENG_MONO_RUN0
413-AH 4.82 438-AH 18.08 0.8
414-AH 50.38 439-AH 0.07 0.6
415-AH 17.06 440-AH 5.37 0.4
416-AH 57.13 441-AH 29.02 0.2
Difference
417-AH 4.57 442-AH 27.61 0
418-AH 64.19 443-AH 15.78 −0.2
−0.4
419-AH 11.95 444-AH 31.15
−0.6
420-AH 31.71 445-AH 0.04
−0.8
421-AH 1.25 446-AH 9.89
−1
422-AH 0.01 447-AH 81.79 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 14.29 448-AH 9.59
424-AH 2.28 449-AH 8.32
425-AH 5.37 450-AH 4.45
458
stockholm 10.2415/AH-MONO-EN-CLEF2007.STOCKHOLM.DSV_ENG_MONO_RUN0 AH-MONO-EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Retrieved documents vs Mean Precision
100%
5 docs 33.20 DSV_ENG_MONO_RUN0
10 docs 32.40 90%
15 docs 30.53
80%
20 docs 28.90
30 docs 25.60 70%
100 docs 15.10
60%
200 docs 9.52
Precision
500 docs 4.85 50%
1000 docs 2.80 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.47
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0128
Second Quartile 0.1938
Third Quartile 0.4444
Interquartile range 0.4316 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2447
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Distribution of the Topics of the Experiment
Standard Deviation 0.2274 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.2447
Std With No Outliers 0.2274 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_ENG_MONO_RUN0
0.8
401-AH 33.33 426-AH 20.66 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 33.33 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 25.42 0
405-AH 42.86 430-AH 0.00 −0.2
−0.4
406-AH 19.05 431-AH 5.00
−0.6
407-AH 52.17 432-AH 0.00
−0.8
408-AH 44.44 433-AH 58.82
−1
409-AH 47.37 434-AH 60.36 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 61.70 435-AH 49.12
411-AH 0.00 436-AH 1.28
412-AH 40.74 437-AH 57.99 1
Ad−Hoc Monolingual English Task (ONLY for English Pool creation and AH−BILI−X2EN participants) − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_ENG_MONO_RUN0
413-AH 13.33 438-AH 20.00 0.8
414-AH 50.00 439-AH 1.28 0.6
415-AH 19.72 440-AH 5.56 0.4
416-AH 48.48 441-AH 44.44 0.2
Difference
417-AH 14.74 442-AH 41.67 0
418-AH 57.14 443-AH 28.57 −0.2
−0.4
419-AH 4.35 444-AH 28.00
−0.6
420-AH 43.48 445-AH 0.00
−0.8
421-AH 0.00 446-AH 16.67
−1
422-AH 0.00 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 14.06
425-AH 5.41 450-AH 11.67
459
jhu-apl 10.2415/AH-BILI-X2BG-CLEF2007.JHU-APL.APLBIENBGTD4 AH-BILI-X2BG-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 1,012 Topic Fields title, description
Relevant retrieved 416 Pooled true
Geometric Mean Average Precision 0.0040 4-grams. MT.
Binary Preference (BPREF) 0.0700
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 19.24 APLBIENBGTD4
10 11.82 90%
20 10.40
80%
30 9.35
40 8.31 70%
50 7.32
60%
60 6.14
Precision
70 4.43 50%
80 4.22 40%
90 3.55
30%
100 2.44
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.33 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8667
Minimum 0.0000
First Quartile 0.0003
Second Quartile 0.0116
Third Quartile 0.0445
Interquartile range 0.0441 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0733
Ad−Hoc Bilingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1722 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1054 25
Mean With No Outliers 0.0164 20
15
Std With No Outliers 0.0260
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENBGTD4
0.8
401-AH 0.00 426-AH 6.12 0.6
402-AH 2.21 427-AH 4.86 0.4
403-AH 0.52 428-AH 12.60 0.2
Difference
404-AH 0.00 429-AH 1.40 0
405-AH 0.03 430-AH 7.94 −0.2
−0.4
406-AH 0.02 431-AH 1.11
−0.6
407-AH 1.70 432-AH 0.00
−0.8
408-AH 34.59 433-AH 1.21
−1
409-AH 1.58 434-AH 0.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.88 435-AH 10.54
411-AH 1.03 436-AH 0.58
412-AH 0.03 437-AH 0.03 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIENBGTD4
413-AH 0.10 438-AH 0.16 0.8
414-AH 0.03 439-AH 0.01 0.6
415-AH 1.48 440-AH 9.72 0.4
416-AH 36.51 441-AH 3.40 0.2
Difference
417-AH 0.42 442-AH 55.92 0
418-AH 0.19 443-AH 4.45 −0.2
−0.4
419-AH 0.00 444-AH 0.05
−0.6
420-AH 11.94 445-AH 0.00
−0.8
421-AH 2.72 446-AH 0.07
−1
422-AH 1.31 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.14 448-AH 86.67
424-AH 1.85 449-AH 1.54
425-AH 1.99 450-AH 0.05
460
jhu-apl 10.2415/AH-BILI-X2BG-CLEF2007.JHU-APL.APLBIENBGTD4 AH-BILI-X2BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 9.60 APLBIENBGTD4
10 docs 8.20 90%
15 docs 7.60
80%
20 docs 7.60
30 docs 6.67 70%
100 docs 3.82
60%
200 docs 2.57
Precision
500 docs 1.41 50%
1000 docs 0.83 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.26
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0851
Interquartile range 0.0851 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0826
Ad−Hoc Bilingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1663 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1724 25
Mean With No Outliers 0.0272 20
15
Std With No Outliers 0.0474
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENBGTD4
0.8
401-AH 0.00 426-AH 12.50 0.6
402-AH 3.23 427-AH 7.14 0.4
403-AH 3.45 428-AH 16.67 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 0.00 430-AH 17.24 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 40.00 433-AH 8.33
−1
409-AH 0.00 434-AH 0.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 58.33 435-AH 8.33
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIENBGTD4
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 8.51 440-AH 9.09 0.4
416-AH 38.89 441-AH 9.09 0.2
Difference
417-AH 0.00 442-AH 63.64 0
418-AH 1.64 443-AH 8.70 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 25.81 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 0.00 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 66.67
424-AH 0.00 449-AH 0.00
425-AH 5.88 450-AH 0.00
461
jhu-apl 10.2415/AH-BILI-X2BG-CLEF2007.JHU-APL.APLBIENBGTD5 AH-BILI-X2BG-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 1,012 Topic Fields title, description
Relevant retrieved 417 Pooled true
Geometric Mean Average Precision 0.0033 5-grams. MT
Binary Preference (BPREF) 0.0544
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual Bulgarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 16.38 APLBIENBGTD5
10 9.19 90%
20 8.37
80%
30 7.75
40 6.86 70%
50 5.75
60%
60 4.45
Precision
70 3.84 50%
80 3.65 40%
90 3.18
30%
100 2.05
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
5.85 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Bulgarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7556
Minimum 0.0000
First Quartile 0.0003
Second Quartile 0.0077
Third Quartile 0.0308
Interquartile range 0.0305 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0585
Ad−Hoc Bilingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1484 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.0467
30
Mean With No Outliers 0.0097
20
Std With No Outliers 0.0126
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENBGTD5
0.8
401-AH 0.00 426-AH 3.97 0.6
402-AH 2.26 427-AH 1.29 0.4
403-AH 0.01 428-AH 4.67 0.2
Difference
404-AH 0.01 429-AH 0.87 0
405-AH 0.00 430-AH 9.46 −0.2
−0.4
406-AH 0.05 431-AH 0.88
−0.6
407-AH 1.97 432-AH 0.00
−0.8
408-AH 3.31 433-AH 0.64
−1
409-AH 1.79 434-AH 0.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 37.20 435-AH 8.60
411-AH 0.60 436-AH 19.54
412-AH 0.04 437-AH 0.02 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIENBGTD5
413-AH 0.16 438-AH 0.10 0.8
414-AH 0.37 439-AH 0.67 0.6
415-AH 1.43 440-AH 9.15 0.4
416-AH 31.34 441-AH 1.23 0.2
Difference
417-AH 0.09 442-AH 60.73 0
418-AH 0.21 443-AH 1.86 −0.2
−0.4
419-AH 0.00 444-AH 0.03
−0.6
420-AH 2.56 445-AH 0.00
−0.8
421-AH 1.83 446-AH 0.01
−1
422-AH 1.11 447-AH 0.01 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.01 448-AH 75.56
424-AH 0.22 449-AH 3.43
425-AH 3.08 450-AH 0.13
462
jhu-apl 10.2415/AH-BILI-X2BG-CLEF2007.JHU-APL.APLBIENBGTD5 AH-BILI-X2BG-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual Bulgarian Task − Retrieved documents vs Mean Precision
100%
5 docs 7.20 APLBIENBGTD5
10 docs 6.20 90%
15 docs 5.47
80%
20 docs 5.50
30 docs 4.93 70%
100 docs 3.20
60%
200 docs 2.40
Precision
500 docs 1.34 50%
1000 docs 0.83 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
6.44
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Bulgarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0588
Interquartile range 0.0588 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0644
Ad−Hoc Bilingual Bulgarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1435 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1000 25
Mean With No Outliers 0.0185 20
15
Std With No Outliers 0.0315
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENBGTD5
0.8
401-AH 0.00 426-AH 4.17 0.6
402-AH 3.23 427-AH 0.00 0.4
403-AH 0.00 428-AH 5.56 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 0.00 430-AH 17.24 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 10.00 433-AH 0.00
−1
409-AH 0.00 434-AH 0.00 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 41.67 435-AH 8.33
411-AH 0.00 436-AH 22.50
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual Bulgarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIENBGTD5
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 5.88 0.6
415-AH 8.51 440-AH 9.09 0.4
416-AH 33.33 441-AH 4.55 0.2
Difference
417-AH 0.00 442-AH 59.09 0
418-AH 0.00 443-AH 8.70 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 3.23 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 0.00 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 66.67
424-AH 0.00 449-AH 4.35
425-AH 5.88 450-AH 0.00
463
jhu-apl 10.2415/AH-BILI-X2CS-CLEF2007.JHU-APL.APLBIENCSTD4 AH-BILI-X2CS-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 762 Topic Fields title, description
Relevant retrieved 490 Pooled true
Geometric Mean Average Precision 0.0387 4-grams. MT.
Binary Preference (BPREF) 0.1916
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.16 APLBIENCSTD4
10 36.86 90%
20 29.55
80%
30 27.36
40 25.45 70%
50 22.64
60%
60 18.55
Precision
70 16.54 50%
80 14.49 40%
90 12.22
30%
100 9.67
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.43 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9945
Minimum 0.0000
First Quartile 0.0153
Second Quartile 0.0623
Third Quartile 0.3557
Interquartile range 0.3405 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2143
Ad−Hoc Bilingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2616 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.6464
15
Mean With No Outliers 0.1837
10
Std With No Outliers 0.2177
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENCSTD4
0.8
401-AH 2.25 426-AH 5.81 0.6
402-AH 23.21 427-AH 32.56 0.4
403-AH 2.87 428-AH 19.01 0.2
Difference
404-AH 11.46 429-AH 6.64 0
405-AH 46.53 430-AH 1.94 −0.2
−0.4
406-AH 0.00 431-AH 63.12
−0.6
407-AH 1.35 432-AH 64.64
−0.8
408-AH 59.88 433-AH 46.18
−1
409-AH 4.95 434-AH 99.45 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 90.14 435-AH 25.69
411-AH 2.61 436-AH 0.06
412-AH 0.02 437-AH 1.49 1
Ad−Hoc Bilingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIENCSTD4
413-AH 7.88 438-AH 1.53 0.8
414-AH 4.35 439-AH 0.05 0.6
415-AH 2.92 440-AH 43.29 0.4
416-AH 29.30 441-AH 1.53 0.2
Difference
417-AH 0.08 442-AH 49.55 0
418-AH 61.96 443-AH 0.00 −0.2
−0.4
419-AH 4.18 444-AH 35.57
−0.6
420-AH 3.25 445-AH 0.05
−0.8
421-AH 22.02 446-AH 11.44
−1
422-AH 0.14 447-AH 51.42 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 64.16 448-AH 30.78
424-AH 27.84 449-AH 5.71
425-AH 0.03 450-AH 0.45
464
jhu-apl 10.2415/AH-BILI-X2CS-CLEF2007.JHU-APL.APLBIENCSTD4 AH-BILI-X2CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 23.20 APLBIENCSTD4
10 docs 22.80 90%
15 docs 19.33
80%
20 docs 17.70
30 docs 14.60 70%
100 docs 6.30
60%
200 docs 3.82
Precision
500 docs 1.80 50%
1000 docs 0.98 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
21.35
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0986
Third Quartile 0.4000
Interquartile range 0.4000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2135
Ad−Hoc Bilingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2500 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.9231
15
Mean With No Outliers 0.2135
10
Std With No Outliers 0.2500
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENCSTD4
0.8
401-AH 9.09 426-AH 9.09 0.6
402-AH 27.50 427-AH 25.00 0.4
403-AH 0.00 428-AH 16.67 0.2
Difference
404-AH 15.91 429-AH 13.51 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 59.09
−0.6
407-AH 0.00 432-AH 57.14
−0.8
408-AH 56.25 433-AH 47.37
−1
409-AH 0.00 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.25 435-AH 30.00
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIENCSTD4
413-AH 0.00 438-AH 0.00 0.8
414-AH 8.33 439-AH 0.00 0.6
415-AH 10.64 440-AH 45.24 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 40.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 35.29
−0.6
420-AH 9.09 445-AH 0.00
−0.8
421-AH 14.29 446-AH 14.29
−1
422-AH 3.12 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 40.00
424-AH 50.00 449-AH 0.00
425-AH 0.00 450-AH 4.17
465
jhu-apl 10.2415/AH-BILI-X2CS-CLEF2007.JHU-APL.APLBIENCSTD5 AH-BILI-X2CS-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 762 Topic Fields title, description
Relevant retrieved 521 Pooled true
Geometric Mean Average Precision 0.0401 5-grams. MT
Binary Preference (BPREF) 0.1848
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual Czech Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 41.83 APLBIENCSTD5
10 37.03 90%
20 28.71
80%
30 27.34
40 23.33 70%
50 19.86
60%
60 16.97
Precision
70 15.32 50%
80 13.84 40%
90 12.86
30%
100 10.92
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
20.78 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Czech Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9589
Minimum 0.0000
First Quartile 0.0130
Second Quartile 0.0839
Third Quartile 0.3261
Interquartile range 0.3130 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2078
Ad−Hoc Bilingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2600 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.6629
15
Mean With No Outliers 0.1649
10
Std With No Outliers 0.2010
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Czech Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENCSTD5
0.8
401-AH 2.80 426-AH 7.91 0.6
402-AH 21.83 427-AH 38.71 0.4
403-AH 1.21 428-AH 12.77 0.2
Difference
404-AH 12.59 429-AH 7.89 0
405-AH 53.20 430-AH 4.58 −0.2
−0.4
406-AH 0.01 431-AH 66.29
−0.6
407-AH 3.29 432-AH 64.64
−0.8
408-AH 14.71 433-AH 32.36
−1
409-AH 9.96 434-AH 95.89 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 88.26 435-AH 26.07
411-AH 1.30 436-AH 0.09
412-AH 0.04 437-AH 3.51 1
Ad−Hoc Bilingual Czech Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIENCSTD5
413-AH 4.36 438-AH 20.53 0.8
414-AH 8.88 439-AH 0.29 0.6
415-AH 4.06 440-AH 32.61 0.4
416-AH 31.38 441-AH 3.47 0.2
Difference
417-AH 0.47 442-AH 44.65 0
418-AH 79.82 443-AH 0.00 −0.2
−0.4
419-AH 1.09 444-AH 35.19
−0.6
420-AH 2.60 445-AH 0.13
−0.8
421-AH 17.81 446-AH 7.45
−1
422-AH 0.02 447-AH 61.64 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 64.72 448-AH 32.85
424-AH 12.67 449-AH 2.18
425-AH 0.00 450-AH 0.14
466
jhu-apl 10.2415/AH-BILI-X2CS-CLEF2007.JHU-APL.APLBIENCSTD5 AH-BILI-X2CS-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual Czech Task − Retrieved documents vs Mean Precision
100%
5 docs 26.00 APLBIENCSTD5
10 docs 21.60 90%
15 docs 19.47
80%
20 docs 16.30
30 docs 14.27 70%
100 docs 6.38
60%
200 docs 3.98
Precision
500 docs 1.84 50%
1000 docs 1.04 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
20.13
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Czech Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9231
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1429
Third Quartile 0.3571
Interquartile range 0.3571 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2013
Ad−Hoc Bilingual Czech Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2301 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6875
Mean With No Outliers 0.1866 10
Std With No Outliers 0.2073
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Czech Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENCSTD5
0.8
401-AH 9.09 426-AH 13.64 0.6
402-AH 25.00 427-AH 37.50 0.4
403-AH 0.00 428-AH 16.67 0.2
Difference
404-AH 15.91 429-AH 16.22 0
405-AH 57.14 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 63.64
−0.6
407-AH 14.29 432-AH 57.14
−0.8
408-AH 12.50 433-AH 36.84
−1
409-AH 16.67 434-AH 92.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.75 435-AH 20.00
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 12.50 1
Ad−Hoc Bilingual Czech Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIENCSTD5
413-AH 0.00 438-AH 20.00 0.8
414-AH 16.67 439-AH 0.00 0.6
415-AH 12.77 440-AH 35.71 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 40.00 0
418-AH 62.50 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 41.18
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 14.29 446-AH 14.29
−1
422-AH 0.00 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 50.00 448-AH 30.00
424-AH 0.00 449-AH 0.00
425-AH 0.00 450-AH 0.00
467
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLEDESC_DICE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 10
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,720 Pooled false
Geometric Mean Average Precision 0.1137 Hindi->English with Title and Desc - Using Dice
Binary Preference (BPREF) 0.3430 Coefficient for Similarity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 62.53 IITB_HINDI_TITLEDESC_DICE
10 52.76 90%
20 45.37
80%
30 38.64
40 34.29 70%
50 29.99
60%
60 23.85
Precision
70 20.02 50%
80 16.41 40%
90 11.25
30%
100 6.02
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.52 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.0828
Second Quartile 0.2139
Third Quartile 0.5091
Interquartile range 0.4263 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2952
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2533 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 1.0000 10
Mean With No Outliers 0.2952
Std With No Outliers 0.2533 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLEDESC_DICE
0.8
401-AH 26.29 426-AH 14.08 0.6
402-AH 52.65 427-AH 42.26 0.4
403-AH 26.87 428-AH 3.68 0.2
Difference
404-AH 100.00 429-AH 17.10 0
405-AH 51.84 430-AH 32.26 −0.2
−0.4
406-AH 0.37 431-AH 20.47
−0.6
407-AH 54.58 432-AH 0.00
−0.8
408-AH 46.68 433-AH 69.52
−1
409-AH 50.91 434-AH 62.48 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 69.00 435-AH 37.21
411-AH 7.90 436-AH 21.29
412-AH 3.68 437-AH 69.32 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLEDESC_DICE
413-AH 28.16 438-AH 21.49 0.8
414-AH 56.08 439-AH 9.21 0.6
415-AH 4.30 440-AH 20.68 0.4
416-AH 59.62 441-AH 9.69 0.2
Difference
417-AH 1.58 442-AH 13.77 0
418-AH 67.63 443-AH 48.44 −0.2
−0.4
419-AH 13.99 444-AH 44.30
−0.6
420-AH 0.16 445-AH 1.52
−0.8
421-AH 75.47 446-AH 32.66
−1
422-AH 8.28 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.71 448-AH 32.39
424-AH 16.29 449-AH 12.27
425-AH 16.67 450-AH 0.42
468
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLEDESC_DICE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 38.80 IITB_HINDI_TITLEDESC_DICE
10 docs 35.60 90%
15 docs 34.00
80%
20 docs 31.50
30 docs 28.27 70%
100 docs 17.00
60%
200 docs 11.59
Precision
500 docs 6.12 50%
1000 docs 3.44 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
30.81
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 1.0000
Minimum 0.0000
First Quartile 0.1111
Second Quartile 0.2689
Third Quartile 0.4839
Interquartile range 0.3728 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3081
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2467 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 1.0000
6
Mean With No Outliers 0.3081
4
Std With No Outliers 0.2467
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLEDESC_DICE
0.8
401-AH 33.33 426-AH 21.60 0.6
402-AH 48.39 427-AH 37.50 0.4
403-AH 34.78 428-AH 0.00 0.2
Difference
404-AH 100.00 429-AH 27.12 0
405-AH 52.38 430-AH 32.26 −0.2
−0.4
406-AH 0.00 431-AH 25.00
−0.6
407-AH 60.87 432-AH 0.00
−0.8
408-AH 44.44 433-AH 65.49
−1
409-AH 47.37 434-AH 60.36 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 50.00
411-AH 0.00 436-AH 32.05
412-AH 11.11 437-AH 65.09 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLEDESC_DICE
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 17.95 0.6
415-AH 0.00 440-AH 27.78 0.4
416-AH 72.73 441-AH 11.11 0.2
Difference
417-AH 9.47 442-AH 8.33 0
418-AH 57.14 443-AH 45.24 −0.2
−0.4
419-AH 17.39 444-AH 40.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 75.00 446-AH 33.33
−1
422-AH 11.76 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 20.00 449-AH 25.00
425-AH 21.62 450-AH 0.00
469
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLEDESC_PMI AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 9
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,635 Pooled false
Geometric Mean Average Precision 0.0715 Hindi->English with Title and Desc - Using Point-
Binary Preference (BPREF) 0.3003 wise Mutual Info (PMI) for Similarity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 55.42 IITB_HINDI_TITLEDESC_PMI
10 46.93 90%
20 41.50
80%
30 36.21
40 30.68 70%
50 27.19
60%
60 21.80
Precision
70 18.20 50%
80 14.48 40%
90 10.08
30%
100 4.16
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.45 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7507
Minimum 0.0000
First Quartile 0.0486
Second Quartile 0.2291
Third Quartile 0.4329
Interquartile range 0.3842 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2645
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2338 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7507 10
Mean With No Outliers 0.2645
Std With No Outliers 0.2338 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLEDESC_PMI
0.8
401-AH 10.09 426-AH 13.41 0.6
402-AH 49.73 427-AH 41.02 0.4
403-AH 24.24 428-AH 8.28 0.2
Difference
404-AH 33.33 429-AH 21.60 0
405-AH 44.80 430-AH 36.17 −0.2
−0.4
406-AH 0.11 431-AH 17.44
−0.6
407-AH 39.54 432-AH 0.01
−0.8
408-AH 49.62 433-AH 64.31
−1
409-AH 44.56 434-AH 63.86 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.39 435-AH 42.77
411-AH 3.60 436-AH 24.23
412-AH 5.37 437-AH 68.81 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLEDESC_PMI
413-AH 27.84 438-AH 27.32 0.8
414-AH 59.90 439-AH 1.29 0.6
415-AH 4.86 440-AH 2.71 0.4
416-AH 59.35 441-AH 5.34 0.2
Difference
417-AH 0.00 442-AH 28.78 0
418-AH 66.98 443-AH 42.96 −0.2
−0.4
419-AH 31.74 444-AH 43.29
−0.6
420-AH 0.24 445-AH 1.47
−0.8
421-AH 75.07 446-AH 11.44
−1
422-AH 7.76 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.75 448-AH 0.91
424-AH 19.08 449-AH 8.68
425-AH 19.33 450-AH 0.00
470
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLEDESC_PMI AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 37.60 IITB_HINDI_TITLEDESC_PMI
10 docs 35.00 90%
15 docs 31.47
80%
20 docs 29.50
30 docs 26.93 70%
100 docs 16.74
60%
200 docs 11.26
Precision
500 docs 5.85 50%
1000 docs 3.27 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.19
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0370
Second Quartile 0.2583
Third Quartile 0.4375
Interquartile range 0.4005 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2719
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2332 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7500 10
Mean With No Outliers 0.2719
Std With No Outliers 0.2332 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLEDESC_PMI
0.8
401-AH 16.67 426-AH 22.07 0.6
402-AH 46.77 427-AH 43.75 0.4
403-AH 30.43 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 32.20 0
405-AH 42.86 430-AH 38.71 −0.2
−0.4
406-AH 0.00 431-AH 15.00
−0.6
407-AH 43.48 432-AH 0.00
−0.8
408-AH 38.89 433-AH 58.82
−1
409-AH 52.63 434-AH 61.26 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 51.75
411-AH 0.00 436-AH 33.33
412-AH 3.70 437-AH 63.31 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLEDESC_PMI
413-AH 26.67 438-AH 26.67 0.8
414-AH 50.00 439-AH 3.85 0.6
415-AH 5.63 440-AH 5.56 0.4
416-AH 72.73 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 25.00 0
418-AH 57.14 443-AH 45.24 −0.2
−0.4
419-AH 39.13 444-AH 36.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 75.00 446-AH 16.67
−1
422-AH 12.75 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 40.00 449-AH 20.31
425-AH 24.32 450-AH 0.00
471
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLE_DICE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 12
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title
Relevant retrieved 1,631 Pooled false
Geometric Mean Average Precision 0.0557 Hindi->English with Title - Using Dice Coefficient
Binary Preference (BPREF) 0.2620 for Similarity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 49.87 IITB_HINDI_TITLE_DICE
10 41.82 90%
20 36.35
80%
30 31.81
40 28.37 70%
50 25.27
60%
60 20.24
Precision
70 16.78 50%
80 12.97 40%
90 8.41
30%
100 3.34
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
23.66 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7909
Minimum 0.0000
First Quartile 0.0205
Second Quartile 0.1529
Third Quartile 0.3782
Interquartile range 0.3577 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2366
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2313 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7909 10
Mean With No Outliers 0.2366
Std With No Outliers 0.2313 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLE_DICE
0.8
401-AH 30.21 426-AH 17.52 0.6
402-AH 54.00 427-AH 53.17 0.4
403-AH 5.41 428-AH 2.05 0.2
Difference
404-AH 33.33 429-AH 7.92 0
405-AH 37.82 430-AH 16.76 −0.2
−0.4
406-AH 0.00 431-AH 28.14
−0.6
407-AH 54.58 432-AH 0.01
−0.8
408-AH 33.58 433-AH 60.62
−1
409-AH 43.45 434-AH 58.32 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 66.94 435-AH 34.31
411-AH 6.34 436-AH 14.56
412-AH 0.99 437-AH 54.42 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLE_DICE
413-AH 33.75 438-AH 9.18 0.8
414-AH 10.49 439-AH 9.09 0.6
415-AH 3.87 440-AH 15.55 0.4
416-AH 70.43 441-AH 1.28 0.2
Difference
417-AH 0.05 442-AH 8.82 0
418-AH 0.00 443-AH 45.97 −0.2
−0.4
419-AH 34.57 444-AH 37.47
−0.6
420-AH 0.21 445-AH 1.35
−0.8
421-AH 79.09 446-AH 5.92
−1
422-AH 0.46 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.01 448-AH 56.35
424-AH 15.04 449-AH 19.62
425-AH 8.53 450-AH 0.30
472
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLE_DICE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 31.20 IITB_HINDI_TITLE_DICE
10 docs 29.20 90%
15 docs 27.87
80%
20 docs 27.00
30 docs 24.00 70%
100 docs 14.84
60%
200 docs 10.39
Precision
500 docs 5.65 50%
1000 docs 3.26 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.68
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2111
Third Quartile 0.4375
Interquartile range 0.4375 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2468
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2333 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7500
Mean With No Outliers 0.2468 10
Std With No Outliers 0.2333
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLE_DICE
0.8
401-AH 33.33 426-AH 26.29 0.6
402-AH 50.00 427-AH 43.75 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 13.56 0
405-AH 42.86 430-AH 29.03 −0.2
−0.4
406-AH 0.00 431-AH 30.00
−0.6
407-AH 60.87 432-AH 0.00
−0.8
408-AH 38.89 433-AH 59.22
−1
409-AH 47.37 434-AH 59.46 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 65.96 435-AH 44.74
411-AH 0.00 436-AH 25.64
412-AH 0.00 437-AH 58.58 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLE_DICE
413-AH 26.67 438-AH 13.33 0.8
414-AH 0.00 439-AH 15.38 0.6
415-AH 1.41 440-AH 22.22 0.4
416-AH 66.67 441-AH 0.00 0.2
Difference
417-AH 1.05 442-AH 16.67 0
418-AH 0.00 443-AH 50.00 −0.2
−0.4
419-AH 43.48 444-AH 40.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 75.00 446-AH 8.33
−1
422-AH 0.00 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 32.81
425-AH 8.11 450-AH 1.67
473
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLE_PMI AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 11
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title
Relevant retrieved 1,540 Pooled false
Geometric Mean Average Precision 0.0410 Hindi->English with Title - Using Point-wise Mutual
Binary Preference (BPREF) 0.2427 Info (PMI) for Similarity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 45.06 IITB_HINDI_TITLE_PMI
10 36.58 90%
20 32.67
80%
30 28.10
40 24.55 70%
50 21.31
60%
60 18.38
Precision
70 15.67 50%
80 11.91 40%
90 7.70
30%
100 2.65
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
20.89 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7909
Minimum 0.0000
First Quartile 0.0135
Second Quartile 0.1012
Third Quartile 0.4051
Interquartile range 0.3916 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2089
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2306 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7909
Mean With No Outliers 0.2089 10
Std With No Outliers 0.2306
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLE_PMI
0.8
401-AH 12.66 426-AH 4.46 0.6
402-AH 47.82 427-AH 53.17 0.4
403-AH 1.82 428-AH 2.05 0.2
Difference
404-AH 10.00 429-AH 0.43 0
405-AH 37.82 430-AH 16.76 −0.2
−0.4
406-AH 0.00 431-AH 0.10
−0.6
407-AH 54.58 432-AH 0.01
−0.8
408-AH 10.25 433-AH 61.06
−1
409-AH 28.11 434-AH 61.88 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 64.24 435-AH 44.94
411-AH 5.98 436-AH 9.71
412-AH 11.43 437-AH 54.42 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLE_PMI
413-AH 29.36 438-AH 9.18 0.8
414-AH 10.49 439-AH 9.09 0.6
415-AH 3.87 440-AH 0.56 0.4
416-AH 66.60 441-AH 1.04 0.2
Difference
417-AH 0.05 442-AH 4.69 0
418-AH 0.00 443-AH 45.97 −0.2
−0.4
419-AH 34.57 444-AH 40.51
−0.6
420-AH 0.21 445-AH 1.35
−0.8
421-AH 79.09 446-AH 21.20
−1
422-AH 2.28 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.74 448-AH 43.61
424-AH 18.34 449-AH 19.62
425-AH 8.19 450-AH 0.12
474
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_HINDI_TITLE_PMI AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 28.00 IITB_HINDI_TITLE_PMI
10 docs 26.40 90%
15 docs 25.20
80%
20 docs 23.90
30 docs 21.40 70%
100 docs 14.04
60%
200 docs 9.68
Precision
500 docs 5.30 50%
1000 docs 3.08 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.29
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1436
Third Quartile 0.4348
Interquartile range 0.4348 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2229
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2412 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7500
Mean With No Outliers 0.2229 10
Std With No Outliers 0.2412
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_HINDI_TITLE_PMI
0.8
401-AH 16.67 426-AH 9.86 0.6
402-AH 45.16 427-AH 43.75 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 3.39 0
405-AH 42.86 430-AH 29.03 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 60.87 432-AH 0.00
−0.8
408-AH 0.00 433-AH 58.82
−1
409-AH 26.32 434-AH 63.06 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.09 435-AH 53.51
411-AH 0.00 436-AH 16.67
412-AH 18.52 437-AH 58.58 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_HINDI_TITLE_PMI
413-AH 33.33 438-AH 13.33 0.8
414-AH 0.00 439-AH 15.38 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 72.73 441-AH 0.00 0.2
Difference
417-AH 1.05 442-AH 8.33 0
418-AH 0.00 443-AH 50.00 −0.2
−0.4
419-AH 43.48 444-AH 36.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 75.00 446-AH 25.00
−1
422-AH 8.82 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 32.81
425-AH 5.41 450-AH 1.67
475
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_MAR_TITLE_DICE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 8
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Marathi
Relevant 2,247 Topic Fields title
Relevant retrieved 1,403 Pooled false
Geometric Mean Average Precision 0.0627 Marathi->English with Title - Using Dice Coeff for
Binary Preference (BPREF) 0.2268 Similarity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 49.09 IITB_MAR_TITLE_DICE
10 37.94 90%
20 33.28
80%
30 27.97
40 25.45 70%
50 23.41
60%
60 17.22
Precision
70 14.71 50%
80 11.49 40%
90 8.36
30%
100 4.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.63 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8640
Minimum 0.0000
First Quartile 0.0233
Second Quartile 0.0993
Third Quartile 0.3751
Interquartile range 0.3518 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2163
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2313 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8640 10
Mean With No Outliers 0.2163
Std With No Outliers 0.2313 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MAR_TITLE_DICE
0.8
401-AH 0.09 426-AH 9.65 0.6
402-AH 47.16 427-AH 46.49 0.4
403-AH 21.43 428-AH 2.33 0.2
Difference
404-AH 25.00 429-AH 8.73 0
405-AH 40.27 430-AH 11.29 −0.2
−0.4
406-AH 8.12 431-AH 0.13
−0.6
407-AH 54.58 432-AH 29.22
−0.8
408-AH 33.58 433-AH 7.54
−1
409-AH 38.64 434-AH 86.40 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 44.08 435-AH 1.30
411-AH 5.03 436-AH 7.11
412-AH 14.25 437-AH 25.17 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_MAR_TITLE_DICE
413-AH 20.70 438-AH 8.38 0.8
414-AH 1.05 439-AH 1.84 0.6
415-AH 0.72 440-AH 0.09 0.4
416-AH 52.65 441-AH 35.97 0.2
Difference
417-AH 18.08 442-AH 45.14 0
418-AH 81.13 443-AH 37.51 −0.2
−0.4
419-AH 6.70 444-AH 30.78
−0.6
420-AH 0.00 445-AH 9.62
−0.8
421-AH 85.45 446-AH 41.51
−1
422-AH 2.15 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.00 448-AH 9.39
424-AH 10.21 449-AH 7.59
425-AH 5.32 450-AH 0.07
476
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_MAR_TITLE_DICE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 32.00 IITB_MAR_TITLE_DICE
10 docs 29.60 90%
15 docs 27.20
80%
20 docs 25.10
30 docs 21.47 70%
100 docs 12.94
60%
200 docs 8.68
Precision
500 docs 4.70 50%
1000 docs 2.81 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
23.71
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1867
Third Quartile 0.4211
Interquartile range 0.4211 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2371
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2320 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8333
Mean With No Outliers 0.2371 10
Std With No Outliers 0.2320
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MAR_TITLE_DICE
0.8
401-AH 0.00 426-AH 17.84 0.6
402-AH 48.39 427-AH 43.75 0.4
403-AH 28.99 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 16.95 0
405-AH 38.10 430-AH 22.58 −0.2
−0.4
406-AH 14.29 431-AH 0.00
−0.6
407-AH 60.87 432-AH 41.67
−0.8
408-AH 38.89 433-AH 18.82
−1
409-AH 42.11 434-AH 78.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 46.81 435-AH 7.02
411-AH 0.00 436-AH 12.82
412-AH 18.52 437-AH 33.14 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_MAR_TITLE_DICE
413-AH 26.67 438-AH 3.33 0.8
414-AH 0.00 439-AH 7.69 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 51.52 441-AH 44.44 0.2
Difference
417-AH 25.26 442-AH 50.00 0
418-AH 71.43 443-AH 47.62 −0.2
−0.4
419-AH 0.00 444-AH 32.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 83.33 446-AH 50.00
−1
422-AH 5.88 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 20.31
425-AH 8.11 450-AH 0.00
477
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_MAR_TITLE_PMI AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 7
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Marathi
Relevant 2,247 Topic Fields title
Relevant retrieved 1,215 Pooled true
Geometric Mean Average Precision 0.0446 Marathi->English with Title - Using Point-wise
Binary Preference (BPREF) 0.1944 Mutual Info (PMI) for Similarity
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 46.68 IITB_MAR_TITLE_PMI
10 35.64 90%
20 29.99
80%
30 24.63
40 22.56 70%
50 20.53
60%
60 14.78
Precision
70 12.90 50%
80 9.99 40%
90 7.34
30%
100 4.00
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
19.35 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8640
Minimum 0.0000
First Quartile 0.0199
Second Quartile 0.0887
Third Quartile 0.3467
Interquartile range 0.3268 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1935
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2300 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8113
Mean With No Outliers 0.1658 10
Std With No Outliers 0.1884
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MAR_TITLE_PMI
0.8
401-AH 0.00 426-AH 1.99 0.6
402-AH 47.16 427-AH 40.81 0.4
403-AH 21.43 428-AH 2.33 0.2
Difference
404-AH 33.33 429-AH 11.11 0
405-AH 38.43 430-AH 11.29 −0.2
−0.4
406-AH 8.12 431-AH 0.05
−0.6
407-AH 54.58 432-AH 29.22
−0.8
408-AH 10.25 433-AH 5.00
−1
409-AH 0.49 434-AH 86.40 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 19.71 435-AH 1.70
411-AH 6.43 436-AH 7.70
412-AH 7.58 437-AH 6.21 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
IITB_MAR_TITLE_PMI
413-AH 24.28 438-AH 11.07 0.8
414-AH 1.05 439-AH 0.00 0.6
415-AH 0.72 440-AH 0.06 0.4
416-AH 48.57 441-AH 0.86 0.2
Difference
417-AH 18.08 442-AH 45.14 0
418-AH 81.13 443-AH 42.21 −0.2
−0.4
419-AH 6.70 444-AH 36.66
−0.6
420-AH 0.00 445-AH 9.62
−0.8
421-AH 85.45 446-AH 34.67
−1
422-AH 4.76 447-AH 0.43 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.22 448-AH 35.42
424-AH 5.31 449-AH 7.59
425-AH 14.34 450-AH 0.08
478
bombay-ltrc 10.2415/AH-BILI-X2EN-CLEF2007.BOMBAY-LTRC.IITB_MAR_TITLE_PMI AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 32.40 IITB_MAR_TITLE_PMI
10 docs 26.80 90%
15 docs 24.67
80%
20 docs 22.80
30 docs 18.67 70%
100 docs 11.42
60%
200 docs 7.55
Precision
500 docs 4.03 50%
1000 docs 2.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
21.21
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1476
Third Quartile 0.3810
Interquartile range 0.3810 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2121
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2325 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8333
Mean With No Outliers 0.2121 10
Std With No Outliers 0.2325
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries IITB_MAR_TITLE_PMI
0.8
401-AH 0.00 426-AH 7.04 0.6
402-AH 48.39 427-AH 50.00 0.4
403-AH 28.99 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 16.95 0
405-AH 38.10 430-AH 22.58 −0.2
−0.4
406-AH 14.29 431-AH 0.00
−0.6
407-AH 60.87 432-AH 41.67
−0.8
408-AH 0.00 433-AH 14.12
−1
409-AH 0.00 434-AH 78.38 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 17.02 435-AH 5.26
411-AH 0.00 436-AH 14.10
412-AH 14.81 437-AH 13.61 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
IITB_MAR_TITLE_PMI
413-AH 20.00 438-AH 16.67 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 51.52 441-AH 0.00 0.2
Difference
417-AH 25.26 442-AH 50.00 0
418-AH 71.43 443-AH 47.62 −0.2
−0.4
419-AH 0.00 444-AH 28.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 83.33 446-AH 50.00
−1
422-AH 14.71 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 0.00 449-AH 20.31
425-AH 16.22 450-AH 1.67
479
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_1 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 7
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,649 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,189 Pooled false
Geometric Mean Average Precision 0.0334 simple dictionary, best supposed params
Binary Preference (BPREF) 0.1777
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.43 BILING_1
10 28.33 90%
20 24.81
80%
30 19.45
40 15.84 70%
50 13.31
60%
60 10.75
Precision
70 9.14 50%
80 5.92 40%
90 3.15
30%
100 2.21
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.17 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8026
Minimum 0.0000
First Quartile 0.0126
Second Quartile 0.0678
Third Quartile 0.1809
Interquartile range 0.1683 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1417
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1907 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4179
15
Mean With No Outliers 0.0841
10
Std With No Outliers 0.1052
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_1
0.8
401-AH 11.01 426-AH 1.74 0.6
402-AH 1.86 427-AH 0.58 0.4
403-AH 10.29 428-AH 0.48 0.2
Difference
404-AH 2.38 429-AH 4.58 0
405-AH 33.35 430-AH 18.09 −0.2
−0.4
406-AH 6.05 431-AH 4.04
−0.6
407-AH 1.05 432-AH 7.19
−0.8
408-AH 48.74 433-AH 14.68
−1
409-AH 64.52 434-AH 6.05 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.50 435-AH 22.94
411-AH 2.44 436-AH 2.53
412-AH 1.28 437-AH 12.09 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_1
413-AH 7.17 438-AH 7.87 0.8
414-AH 51.24 439-AH 10.45 0.6
415-AH 0.01 440-AH 9.02 0.4
416-AH 45.51 441-AH 1.26 0.2
Difference
417-AH 0.73 442-AH 41.79 0
418-AH 47.99 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 6.56
−0.6
420-AH 0.02 445-AH 80.26
−0.8
421-AH 36.38 446-AH 24.37
−1
422-AH 2.47 447-AH 1.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.15 448-AH 7.23
424-AH 0.03 449-AH 30.24
425-AH 7.00 450-AH 1.04
480
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_1 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 21.60 BILING_1
10 docs 17.60 90%
15 docs 16.13
80%
20 docs 15.70
30 docs 13.27 70%
100 docs 7.64
60%
200 docs 6.30
Precision
500 docs 3.72 50%
1000 docs 2.38 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
15.82
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0829
Third Quartile 0.2500
Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1582
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1841 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.5000
Mean With No Outliers 0.1361 10
Std With No Outliers 0.1503
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_1
0.8
401-AH 16.67 426-AH 6.10 0.6
402-AH 4.84 427-AH 0.00 0.4
403-AH 18.84 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 8.47 0
405-AH 38.10 430-AH 32.26 −0.2
−0.4
406-AH 9.52 431-AH 5.00
−0.6
407-AH 0.00 432-AH 25.00
−0.8
408-AH 44.44 433-AH 29.80
−1
409-AH 63.16 434-AH 12.61 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 4.26 435-AH 21.93
411-AH 0.00 436-AH 3.85
412-AH 7.41 437-AH 13.61 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_1
413-AH 0.00 438-AH 20.00 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 0.00 440-AH 22.22 0.4
416-AH 39.39 441-AH 0.00 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 28.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 0.00 445-AH 75.00
−0.8
421-AH 33.33 446-AH 25.00
−1
422-AH 9.80 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 35.94
425-AH 8.11 450-AH 1.67
481
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_2 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 8
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,649 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,201 Pooled false
Geometric Mean Average Precision 0.0343 simple dictionary, 2nd best
Binary Preference (BPREF) 0.1767
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 41.29 BILING_2
10 27.93 90%
20 24.78
80%
30 19.68
40 16.16 70%
50 13.64
60%
60 11.02
Precision
70 9.17 50%
80 6.27 40%
90 3.50
30%
100 2.52
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.36 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8214
Minimum 0.0000
First Quartile 0.0116
Second Quartile 0.0697
Third Quartile 0.1799
Interquartile range 0.1683 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1436
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1936 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.3684
15
Mean With No Outliers 0.0767
10
Std With No Outliers 0.0925
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_2
0.8
401-AH 10.18 426-AH 1.83 0.6
402-AH 1.82 427-AH 0.54 0.4
403-AH 11.27 428-AH 0.77 0.2
Difference
404-AH 2.38 429-AH 5.64 0
405-AH 34.20 430-AH 17.99 −0.2
−0.4
406-AH 6.35 431-AH 3.62
−0.6
407-AH 1.03 432-AH 7.07
−0.8
408-AH 50.49 433-AH 15.22
−1
409-AH 62.70 434-AH 7.65 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.58 435-AH 23.24
411-AH 2.75 436-AH 2.58
412-AH 1.16 437-AH 12.08 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_2
413-AH 7.25 438-AH 7.87 0.8
414-AH 51.88 439-AH 10.46 0.6
415-AH 0.01 440-AH 8.44 0.4
416-AH 45.68 441-AH 1.16 0.2
Difference
417-AH 0.79 442-AH 47.25 0
418-AH 48.10 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 6.68
−0.6
420-AH 0.03 445-AH 82.14
−0.8
421-AH 36.84 446-AH 21.75
−1
422-AH 2.45 447-AH 1.05 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.14 448-AH 7.24
424-AH 0.03 449-AH 29.77
425-AH 6.88 450-AH 1.03
482
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_2 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 20.40 BILING_2
10 docs 18.20 90%
15 docs 16.53
80%
20 docs 15.70
30 docs 13.40 70%
100 docs 7.82
60%
200 docs 6.32
Precision
500 docs 3.73 50%
1000 docs 2.40 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
15.67
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0805
Third Quartile 0.2500
Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1567
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1858 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5000
15
Mean With No Outliers 0.1344
10
Std With No Outliers 0.1523
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_2
0.8
401-AH 0.00 426-AH 6.10 0.6
402-AH 4.84 427-AH 0.00 0.4
403-AH 21.74 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 38.10 430-AH 29.03 −0.2
−0.4
406-AH 9.52 431-AH 5.00
−0.6
407-AH 0.00 432-AH 25.00
−0.8
408-AH 44.44 433-AH 30.98
−1
409-AH 63.16 434-AH 13.51 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 4.26 435-AH 24.56
411-AH 0.00 436-AH 3.85
412-AH 3.70 437-AH 13.61 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_2
413-AH 6.67 438-AH 20.00 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 0.00 440-AH 16.67 0.4
416-AH 42.42 441-AH 0.00 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 28.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 0.00 445-AH 75.00
−0.8
421-AH 33.33 446-AH 25.00
−1
422-AH 8.82 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 37.50
425-AH 8.11 450-AH 1.67
483
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_3 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 9
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,649 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,206 Pooled false
Geometric Mean Average Precision 0.0336 simple dictionary, 3rd best
Binary Preference (BPREF) 0.1772
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.41 BILING_3
10 27.53 90%
20 23.90
80%
30 19.30
40 15.92 70%
50 13.92
60%
60 10.96
Precision
70 9.29 50%
80 6.30 40%
90 3.56
30%
100 2.55
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0114
Second Quartile 0.0654
Third Quartile 0.1791
Interquartile range 0.1678 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1416
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1928 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.3733
15
Mean With No Outliers 0.0752
10
Std With No Outliers 0.0921
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_3
0.8
401-AH 6.18 426-AH 1.69 0.6
402-AH 1.87 427-AH 0.49 0.4
403-AH 11.42 428-AH 0.84 0.2
Difference
404-AH 2.38 429-AH 5.78 0
405-AH 34.52 430-AH 17.91 −0.2
−0.4
406-AH 6.24 431-AH 3.45
−0.6
407-AH 0.93 432-AH 7.71
−0.8
408-AH 51.26 433-AH 14.88
−1
409-AH 57.75 434-AH 7.94 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.58 435-AH 21.84
411-AH 2.70 436-AH 2.67
412-AH 1.08 437-AH 11.88 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_3
413-AH 7.19 438-AH 7.87 0.8
414-AH 56.93 439-AH 10.44 0.6
415-AH 0.01 440-AH 8.20 0.4
416-AH 45.46 441-AH 1.22 0.2
Difference
417-AH 0.79 442-AH 43.78 0
418-AH 46.11 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 6.08
−0.6
420-AH 0.03 445-AH 83.33
−0.8
421-AH 37.33 446-AH 21.17
−1
422-AH 2.42 447-AH 1.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.14 448-AH 7.24
424-AH 0.03 449-AH 29.41
425-AH 6.85 450-AH 1.01
484
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_3 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 19.60 BILING_3
10 docs 17.20 90%
15 docs 15.87
80%
20 docs 15.00
30 docs 13.20 70%
100 docs 7.74
60%
200 docs 6.20
Precision
500 docs 3.74 50%
1000 docs 2.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
15.52
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0805
Third Quartile 0.2719
Interquartile range 0.2719 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1552
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1871 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.6316
15
Mean With No Outliers 0.1431
10
Std With No Outliers 0.1680
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_3
0.8
401-AH 0.00 426-AH 6.10 0.6
402-AH 4.84 427-AH 0.00 0.4
403-AH 23.19 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 38.10 430-AH 29.03 −0.2
−0.4
406-AH 9.52 431-AH 5.00
−0.6
407-AH 0.00 432-AH 25.00
−0.8
408-AH 44.44 433-AH 29.41
−1
409-AH 63.16 434-AH 12.61 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 4.26 435-AH 27.19
411-AH 0.00 436-AH 3.85
412-AH 0.00 437-AH 12.43 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_3
413-AH 0.00 438-AH 20.00 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 0.00 440-AH 16.67 0.4
416-AH 42.42 441-AH 0.00 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 28.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 0.00 445-AH 75.00
−0.8
421-AH 33.33 446-AH 25.00
−1
422-AH 9.80 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 37.50
425-AH 8.11 450-AH 3.33
485
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_4 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 10
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,649 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,217 Pooled false
Geometric Mean Average Precision 0.0342 simple dictionary, 4th best
Binary Preference (BPREF) 0.1784
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 39.71 BILING_4
10 28.05 90%
20 24.98
80%
30 19.33
40 15.94 70%
50 13.70
60%
60 11.11
Precision
70 9.16 50%
80 6.33 40%
90 3.60
30%
100 2.71
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.36 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0114
Second Quartile 0.0703
Third Quartile 0.1716
Interquartile range 0.1602 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1436
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1931 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.3621
15
Mean With No Outliers 0.0772
10
Std With No Outliers 0.0935
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_4
0.8
401-AH 10.74 426-AH 1.83 0.6
402-AH 1.78 427-AH 0.49 0.4
403-AH 11.06 428-AH 0.83 0.2
Difference
404-AH 2.50 429-AH 4.79 0
405-AH 35.11 430-AH 17.16 −0.2
−0.4
406-AH 6.29 431-AH 3.89
−0.6
407-AH 0.97 432-AH 8.22
−0.8
408-AH 50.19 433-AH 15.13
−1
409-AH 59.66 434-AH 8.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.58 435-AH 22.93
411-AH 2.67 436-AH 3.18
412-AH 1.02 437-AH 11.64 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_4
413-AH 7.34 438-AH 7.87 0.8
414-AH 51.88 439-AH 10.05 0.6
415-AH 0.01 440-AH 8.10 0.4
416-AH 46.14 441-AH 1.25 0.2
Difference
417-AH 0.77 442-AH 47.12 0
418-AH 47.84 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 6.66
−0.6
420-AH 0.03 445-AH 83.33
−0.8
421-AH 36.21 446-AH 24.21
−1
422-AH 2.32 447-AH 1.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.14 448-AH 7.24
424-AH 0.03 449-AH 30.14
425-AH 6.81 450-AH 0.91
486
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_4 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 20.80 BILING_4
10 docs 17.60 90%
15 docs 16.67
80%
20 docs 15.50
30 docs 12.93 70%
100 docs 7.80
60%
200 docs 6.24
Precision
500 docs 3.72 50%
1000 docs 2.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
15.83
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0805
Third Quartile 0.2581
Interquartile range 0.2581 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1583
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1867 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.6316
15
Mean With No Outliers 0.1462
10
Std With No Outliers 0.1678
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_4
0.8
401-AH 16.67 426-AH 6.10 0.6
402-AH 4.84 427-AH 0.00 0.4
403-AH 21.74 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 38.10 430-AH 25.81 −0.2
−0.4
406-AH 9.52 431-AH 5.00
−0.6
407-AH 0.00 432-AH 25.00
−0.8
408-AH 44.44 433-AH 29.80
−1
409-AH 63.16 434-AH 12.61 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 4.26 435-AH 25.44
411-AH 0.00 436-AH 3.85
412-AH 0.00 437-AH 12.43 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_4
413-AH 0.00 438-AH 20.00 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 0.00 440-AH 16.67 0.4
416-AH 42.42 441-AH 0.00 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 28.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 0.00 445-AH 75.00
−0.8
421-AH 33.33 446-AH 33.33
−1
422-AH 7.84 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 37.50
425-AH 8.11 450-AH 1.67
487
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_5 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 11
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,649 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,228 Pooled false
Geometric Mean Average Precision 0.0341 simple dictionary, 5th best
Binary Preference (BPREF) 0.1757
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.53 BILING_5
10 27.67 90%
20 24.13
80%
30 19.06
40 15.68 70%
50 13.93
60%
60 11.16
Precision
70 9.11 50%
80 6.50 40%
90 3.64
30%
100 2.76
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8500
Minimum 0.0000
First Quartile 0.0114
Second Quartile 0.0656
Third Quartile 0.1964
Interquartile range 0.1850 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1416
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1924 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4598
15
Mean With No Outliers 0.1004
10
Std With No Outliers 0.1300
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_5
0.8
401-AH 6.34 426-AH 1.76 0.6
402-AH 2.20 427-AH 0.44 0.4
403-AH 11.44 428-AH 0.74 0.2
Difference
404-AH 2.38 429-AH 5.53 0
405-AH 35.35 430-AH 19.64 −0.2
−0.4
406-AH 6.24 431-AH 3.53
−0.6
407-AH 0.94 432-AH 8.03
−0.8
408-AH 49.99 433-AH 14.53
−1
409-AH 58.85 434-AH 7.95 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.57 435-AH 21.85
411-AH 2.65 436-AH 3.66
412-AH 1.11 437-AH 11.56 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_5
413-AH 7.22 438-AH 7.87 0.8
414-AH 52.21 439-AH 10.09 0.6
415-AH 0.01 440-AH 7.91 0.4
416-AH 45.30 441-AH 1.25 0.2
Difference
417-AH 0.78 442-AH 44.42 0
418-AH 45.98 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 6.22
−0.6
420-AH 0.04 445-AH 85.00
−0.8
421-AH 37.02 446-AH 21.22
−1
422-AH 2.24 447-AH 1.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.14 448-AH 7.24
424-AH 0.02 449-AH 29.82
425-AH 6.78 450-AH 0.72
488
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_5 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 19.20 BILING_5
10 docs 17.00 90%
15 docs 15.73
80%
20 docs 15.40
30 docs 13.60 70%
100 docs 7.84
60%
200 docs 6.06
Precision
500 docs 3.69 50%
1000 docs 2.46 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
15.72
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0805
Third Quartile 0.2632
Interquartile range 0.2632 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1572
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1879 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6316
Mean With No Outliers 0.1451 10
Std With No Outliers 0.1690
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_5
0.8
401-AH 0.00 426-AH 6.10 0.6
402-AH 6.45 427-AH 0.00 0.4
403-AH 23.19 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 38.10 430-AH 38.71 −0.2
−0.4
406-AH 9.52 431-AH 5.00
−0.6
407-AH 0.00 432-AH 25.00
−0.8
408-AH 44.44 433-AH 27.06
−1
409-AH 63.16 434-AH 10.81 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 4.26 435-AH 26.32
411-AH 0.00 436-AH 3.85
412-AH 7.41 437-AH 12.43 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_5
413-AH 0.00 438-AH 20.00 0.8
414-AH 50.00 439-AH 12.82 0.6
415-AH 0.00 440-AH 16.67 0.4
416-AH 42.42 441-AH 0.00 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 28.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 0.00 445-AH 75.00
−0.8
421-AH 33.33 446-AH 25.00
−1
422-AH 8.82 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 37.50
425-AH 8.11 450-AH 1.67
489
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_6 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 12
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 47,620 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,192 Pooled false
Geometric Mean Average Precision 0.0343 simple dictionary, 6th best
Binary Preference (BPREF) 0.1828
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.79 BILING_6
10 29.00 90%
20 25.48
80%
30 20.06
40 16.61 70%
50 14.08
60%
60 11.42
Precision
70 9.44 50%
80 6.27 40%
90 3.36
30%
100 2.44
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
14.67 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8026
Minimum 0.0000
First Quartile 0.0114
Second Quartile 0.0711
Third Quartile 0.1797
Interquartile range 0.1684 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1467
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1949 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.3652
15
Mean With No Outliers 0.0795
10
Std With No Outliers 0.0960
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_6
0.8
401-AH 13.05 426-AH 1.92 0.6
402-AH 0.32 427-AH 0.61 0.4
403-AH 10.66 428-AH 0.73 0.2
Difference
404-AH 3.33 429-AH 5.01 0
405-AH 35.17 430-AH 17.97 −0.2
−0.4
406-AH 6.70 431-AH 4.71
−0.6
407-AH 1.04 432-AH 7.33
−0.8
408-AH 54.00 433-AH 16.24
−1
409-AH 62.47 434-AH 7.16 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.61 435-AH 24.68
411-AH 2.41 436-AH 2.04
412-AH 1.10 437-AH 12.51 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_6
413-AH 7.06 438-AH 7.87 0.8
414-AH 54.10 439-AH 10.35 0.6
415-AH 0.01 440-AH 9.62 0.4
416-AH 44.73 441-AH 1.37 0.2
Difference
417-AH 0.78 442-AH 47.49 0
418-AH 48.35 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 6.33
−0.6
420-AH 0.04 445-AH 80.26
−0.8
421-AH 36.52 446-AH 25.28
−1
422-AH 2.69 447-AH 1.14 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.25 448-AH 8.10
424-AH 0.04 449-AH 30.66
425-AH 7.55 450-AH 0.96
490
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_6 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 21.60 BILING_6
10 docs 18.40 90%
15 docs 16.27
80%
20 docs 15.70
30 docs 13.67 70%
100 docs 8.26
60%
200 docs 6.29
Precision
500 docs 3.72 50%
1000 docs 2.38 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
15.95
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0908
Third Quartile 0.2857
Interquartile range 0.2857 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1595
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1889 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.6316
15
Mean With No Outliers 0.1474
10
Std With No Outliers 0.1703
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_6
0.8
401-AH 16.67 426-AH 7.98 0.6
402-AH 1.61 427-AH 0.00 0.4
403-AH 18.84 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 10.17 0
405-AH 38.10 430-AH 29.03 −0.2
−0.4
406-AH 4.76 431-AH 0.00
−0.6
407-AH 0.00 432-AH 25.00
−0.8
408-AH 50.00 433-AH 29.80
−1
409-AH 63.16 434-AH 11.71 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 4.26 435-AH 25.44
411-AH 0.00 436-AH 3.85
412-AH 3.70 437-AH 13.61 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_6
413-AH 0.00 438-AH 20.00 0.8
414-AH 50.00 439-AH 12.82 0.6
415-AH 0.00 440-AH 22.22 0.4
416-AH 42.42 441-AH 0.00 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 28.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 0.00 445-AH 75.00
−0.8
421-AH 33.33 446-AH 33.33
−1
422-AH 12.75 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 34.38
425-AH 5.41 450-AH 3.33
491
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI1 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,644 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,335 Pooled true
Geometric Mean Average Precision 0.0354 using wikipedia, best supposed params
Binary Preference (BPREF) 0.1807
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 45.83 BILING_WIKI1
10 30.91 90%
20 25.40
80%
30 21.19
40 18.35 70%
50 14.98
60%
60 12.24
Precision
70 10.09 50%
80 6.81 40%
90 4.42
30%
100 3.12
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
15.89 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.0162
Second Quartile 0.0854
Third Quartile 0.2378
Interquartile range 0.2216 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1589
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2095 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5124
15
Mean With No Outliers 0.1192
10
Std With No Outliers 0.1390
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI1
0.8
401-AH 11.01 426-AH 9.06 0.6
402-AH 1.16 427-AH 1.12 0.4
403-AH 14.24 428-AH 2.59 0.2
Difference
404-AH 3.70 429-AH 4.23 0
405-AH 11.87 430-AH 8.31 −0.2
−0.4
406-AH 24.38 431-AH 4.04
−0.6
407-AH 0.63 432-AH 1.62
−0.8
408-AH 41.02 433-AH 15.11
−1
409-AH 64.52 434-AH 9.55 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 23.78 435-AH 44.42
411-AH 1.84 436-AH 8.76
412-AH 0.27 437-AH 42.51 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI1
413-AH 0.66 438-AH 13.41 0.8
414-AH 51.24 439-AH 10.00 0.6
415-AH 2.90 440-AH 4.93 0.4
416-AH 29.64 441-AH 15.55 0.2
Difference
417-AH 4.28 442-AH 41.79 0
418-AH 82.23 443-AH 0.01 −0.2
−0.4
419-AH 6.49 444-AH 5.40
−0.6
420-AH 3.35 445-AH 87.50
−0.8
421-AH 0.00 446-AH 25.24
−1
422-AH 9.26 447-AH 0.07 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 21.45
424-AH 0.00 449-AH 27.77
425-AH 1.54 450-AH 0.09
492
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI1 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 25.20 BILING_WIKI1
10 docs 22.00 90%
15 docs 19.73
80%
20 docs 18.50
30 docs 16.60 70%
100 docs 10.22
60%
200 docs 7.41
Precision
500 docs 4.27 50%
1000 docs 2.67 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.87
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0270
Second Quartile 0.1305
Third Quartile 0.2979
Interquartile range 0.2708 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1887
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1967 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.6429 10
Mean With No Outliers 0.1773
Std With No Outliers 0.1811 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI1
0.8
401-AH 16.67 426-AH 18.78 0.6
402-AH 3.23 427-AH 6.25 0.4
403-AH 21.74 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 14.29 430-AH 9.68 −0.2
−0.4
406-AH 38.10 431-AH 5.00
−0.6
407-AH 4.35 432-AH 8.33
−0.8
408-AH 38.89 433-AH 29.02
−1
409-AH 63.16 434-AH 15.32 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 43.86
411-AH 0.00 436-AH 15.38
412-AH 0.00 437-AH 50.89 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI1
413-AH 0.00 438-AH 23.33 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 5.63 440-AH 5.56 0.4
416-AH 42.42 441-AH 22.22 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 2.17 445-AH 75.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 17.65 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 34.38
425-AH 2.70 450-AH 1.67
493
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI2 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,644 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,353 Pooled false
Geometric Mean Average Precision 0.0369 with Wikipedia, 2nd best params
Binary Preference (BPREF) 0.1810
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 44.80 BILING_WIKI2
10 31.21 90%
20 25.74
80%
30 21.85
40 19.01 70%
50 15.80
60%
60 12.56
Precision
70 10.21 50%
80 7.15 40%
90 4.69
30%
100 3.29
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
16.15 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.0157
Second Quartile 0.0859
Third Quartile 0.2313
Interquartile range 0.2155 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1615
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2115 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5188
15
Mean With No Outliers 0.1223
10
Std With No Outliers 0.1440
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI2
0.8
401-AH 10.18 426-AH 8.71 0.6
402-AH 1.14 427-AH 1.01 0.4
403-AH 15.18 428-AH 2.83 0.2
Difference
404-AH 3.45 429-AH 4.36 0
405-AH 9.88 430-AH 8.48 −0.2
−0.4
406-AH 24.82 431-AH 3.62
−0.6
407-AH 0.88 432-AH 1.23
−0.8
408-AH 42.03 433-AH 16.24
−1
409-AH 62.70 434-AH 11.54 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 24.02 435-AH 45.04
411-AH 1.78 436-AH 9.20
412-AH 0.28 437-AH 43.96 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI2
413-AH 0.73 438-AH 14.33 0.8
414-AH 51.88 439-AH 10.46 0.6
415-AH 3.33 440-AH 4.98 0.4
416-AH 31.74 441-AH 15.67 0.2
Difference
417-AH 4.21 442-AH 47.25 0
418-AH 82.45 443-AH 0.01 −0.2
−0.4
419-AH 6.41 444-AH 5.74
−0.6
420-AH 3.97 445-AH 87.50
−0.8
421-AH 0.00 446-AH 23.13
−1
422-AH 9.51 447-AH 0.23 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 21.51
424-AH 0.00 449-AH 28.35
425-AH 1.57 450-AH 0.10
494
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI2 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 23.60 BILING_WIKI2
10 docs 22.00 90%
15 docs 20.53
80%
20 docs 19.10
30 docs 17.20 70%
100 docs 10.42
60%
200 docs 7.60
Precision
500 docs 4.41 50%
1000 docs 2.71 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.37
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1193
Third Quartile 0.2979
Interquartile range 0.2979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1837
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2030 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6429
Mean With No Outliers 0.1721 10
Std With No Outliers 0.1877
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI2
0.8
401-AH 0.00 426-AH 19.25 0.6
402-AH 3.23 427-AH 0.00 0.4
403-AH 23.19 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 14.29 430-AH 9.68 −0.2
−0.4
406-AH 38.10 431-AH 5.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 38.89 433-AH 29.02
−1
409-AH 63.16 434-AH 15.32 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 43.86
411-AH 0.00 436-AH 15.38
412-AH 0.00 437-AH 51.48 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI2
413-AH 0.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 5.63 440-AH 5.56 0.4
416-AH 45.45 441-AH 22.22 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 2.17 445-AH 75.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 17.65 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 35.94
425-AH 2.70 450-AH 1.67
495
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI3 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,644 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,367 Pooled false
Geometric Mean Average Precision 0.0364 with Wikipedia, 3nd best params
Binary Preference (BPREF) 0.1815
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 44.84 BILING_WIKI3
10 30.93 90%
20 24.78
80%
30 20.87
40 18.42 70%
50 16.02
60%
60 12.36
Precision
70 10.22 50%
80 7.18 40%
90 4.79
30%
100 3.25
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
15.84 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.0166
Second Quartile 0.0713
Third Quartile 0.2299
Interquartile range 0.2134 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1584
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2058 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4378
15
Mean With No Outliers 0.1115
10
Std With No Outliers 0.1288
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI3
0.8
401-AH 6.18 426-AH 7.90 0.6
402-AH 1.22 427-AH 0.99 0.4
403-AH 15.00 428-AH 4.39 0.2
Difference
404-AH 3.23 429-AH 4.54 0
405-AH 10.19 430-AH 8.77 −0.2
−0.4
406-AH 24.78 431-AH 3.45
−0.6
407-AH 0.83 432-AH 1.28
−0.8
408-AH 40.63 433-AH 16.57
−1
409-AH 57.75 434-AH 11.71 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 24.00 435-AH 43.75
411-AH 1.75 436-AH 9.39
412-AH 0.30 437-AH 43.37 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI3
413-AH 0.69 438-AH 14.85 0.8
414-AH 56.93 439-AH 10.49 0.6
415-AH 3.27 440-AH 4.58 0.4
416-AH 31.19 441-AH 16.07 0.2
Difference
417-AH 4.17 442-AH 43.78 0
418-AH 76.60 443-AH 0.01 −0.2
−0.4
419-AH 6.36 444-AH 5.57
−0.6
420-AH 3.94 445-AH 87.50
−0.8
421-AH 0.00 446-AH 22.99
−1
422-AH 9.55 447-AH 0.22 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 21.51
424-AH 0.00 449-AH 27.91
425-AH 1.66 450-AH 0.09
496
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI3 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 22.80 BILING_WIKI3
10 docs 21.00 90%
15 docs 19.60
80%
20 docs 19.00
30 docs 16.80 70%
100 docs 10.24
60%
200 docs 7.54
Precision
500 docs 4.40 50%
1000 docs 2.73 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.43
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1193
Third Quartile 0.2979
Interquartile range 0.2979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1843
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2019 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6429
Mean With No Outliers 0.1728 10
Std With No Outliers 0.1866
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI3
0.8
401-AH 0.00 426-AH 19.25 0.6
402-AH 3.23 427-AH 0.00 0.4
403-AH 20.29 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 14.29 430-AH 9.68 −0.2
−0.4
406-AH 38.10 431-AH 5.00
−0.6
407-AH 0.00 432-AH 4.17
−0.8
408-AH 38.89 433-AH 29.02
−1
409-AH 63.16 434-AH 16.22 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 42.98
411-AH 0.00 436-AH 15.38
412-AH 0.00 437-AH 52.07 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI3
413-AH 0.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 7.04 440-AH 5.56 0.4
416-AH 45.45 441-AH 22.22 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 2.17 445-AH 75.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 17.65 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 35.94
425-AH 2.70 450-AH 1.67
497
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI4 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,644 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,374 Pooled false
Geometric Mean Average Precision 0.0366 with Wikipedia, 4nd best params
Binary Preference (BPREF) 0.1826
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 46.09 BILING_WIKI4
10 31.33 90%
20 25.64
80%
30 21.81
40 18.39 70%
50 15.59
60%
60 12.40
Precision
70 10.09 50%
80 7.19 40%
90 4.80
30%
100 3.19
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
16.09 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8611
Minimum 0.0000
First Quartile 0.0173
Second Quartile 0.0863
Third Quartile 0.2394
Interquartile range 0.2220 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1609
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2076 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5188
15
Mean With No Outliers 0.1231
10
Std With No Outliers 0.1440
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI4
0.8
401-AH 10.74 426-AH 8.63 0.6
402-AH 1.21 427-AH 1.00 0.4
403-AH 15.17 428-AH 3.27 0.2
Difference
404-AH 3.85 429-AH 4.40 0
405-AH 9.97 430-AH 8.62 −0.2
−0.4
406-AH 25.59 431-AH 3.89
−0.6
407-AH 0.76 432-AH 1.28
−0.8
408-AH 40.25 433-AH 17.06
−1
409-AH 59.66 434-AH 11.01 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 24.06 435-AH 44.89
411-AH 1.73 436-AH 9.32
412-AH 0.25 437-AH 43.87 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI4
413-AH 0.80 438-AH 15.27 0.8
414-AH 51.88 439-AH 10.03 0.6
415-AH 3.03 440-AH 4.25 0.4
416-AH 33.30 441-AH 15.75 0.2
Difference
417-AH 4.35 442-AH 47.12 0
418-AH 80.13 443-AH 0.01 −0.2
−0.4
419-AH 5.96 444-AH 5.72
−0.6
420-AH 4.05 445-AH 86.11
−0.8
421-AH 0.00 446-AH 23.94
−1
422-AH 9.60 447-AH 0.23 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 21.51
424-AH 0.00 449-AH 29.14
425-AH 1.80 450-AH 0.08
498
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI4 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 24.40 BILING_WIKI4
10 docs 21.80 90%
15 docs 20.13
80%
20 docs 18.90
30 docs 17.00 70%
100 docs 10.46
60%
200 docs 7.54
Precision
500 docs 4.41 50%
1000 docs 2.75 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.73
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1305
Third Quartile 0.2979
Interquartile range 0.2979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1873
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2017 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6429
Mean With No Outliers 0.1758 10
Std With No Outliers 0.1865
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI4
0.8
401-AH 16.67 426-AH 19.25 0.6
402-AH 1.61 427-AH 0.00 0.4
403-AH 24.64 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 14.29 430-AH 9.68 −0.2
−0.4
406-AH 38.10 431-AH 5.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 38.89 433-AH 29.02
−1
409-AH 63.16 434-AH 16.22 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 42.98
411-AH 0.00 436-AH 15.38
412-AH 0.00 437-AH 52.66 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI4
413-AH 0.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 5.63 440-AH 5.56 0.4
416-AH 45.45 441-AH 22.22 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 4.35 445-AH 75.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 17.65 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 35.94
425-AH 2.70 450-AH 0.00
499
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI5 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,644 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,380 Pooled false
Geometric Mean Average Precision 0.0359 with Wikipedia, 5th best params
Binary Preference (BPREF) 0.1804
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 44.67 BILING_WIKI5
10 30.64 90%
20 24.94
80%
30 20.98
40 18.18 70%
50 15.83
60%
60 12.18
Precision
70 10.19 50%
80 7.23 40%
90 4.81
30%
100 3.23
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
15.75 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.0174
Second Quartile 0.0717
Third Quartile 0.2299
Interquartile range 0.2125 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1575
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2042 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5221
15
Mean With No Outliers 0.1203
10
Std With No Outliers 0.1408
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI5
0.8
401-AH 6.34 426-AH 7.99 0.6
402-AH 1.07 427-AH 1.02 0.4
403-AH 14.73 428-AH 3.82 0.2
Difference
404-AH 3.23 429-AH 4.92 0
405-AH 10.10 430-AH 10.77 −0.2
−0.4
406-AH 23.56 431-AH 3.53
−0.6
407-AH 0.83 432-AH 1.29
−0.8
408-AH 40.08 433-AH 16.88
−1
409-AH 58.85 434-AH 11.17 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 23.97 435-AH 43.75
411-AH 1.74 436-AH 9.25
412-AH 0.27 437-AH 43.09 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI5
413-AH 0.75 438-AH 15.37 0.8
414-AH 52.21 439-AH 10.21 0.6
415-AH 2.97 440-AH 4.05 0.4
416-AH 31.02 441-AH 16.12 0.2
Difference
417-AH 4.33 442-AH 44.42 0
418-AH 76.19 443-AH 0.00 −0.2
−0.4
419-AH 5.87 444-AH 5.61
−0.6
420-AH 3.83 445-AH 87.50
−0.8
421-AH 0.00 446-AH 22.99
−1
422-AH 9.52 447-AH 0.22 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 21.51
424-AH 0.00 449-AH 28.83
425-AH 1.87 450-AH 0.09
500
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI5 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 23.20 BILING_WIKI5
10 docs 21.00 90%
15 docs 19.87
80%
20 docs 18.80
30 docs 17.00 70%
100 docs 10.26
60%
200 docs 7.47
Precision
500 docs 4.36 50%
1000 docs 2.76 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.41
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1193
Third Quartile 0.2979
Interquartile range 0.2979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1841
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2021 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6429
Mean With No Outliers 0.1725 10
Std With No Outliers 0.1868
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI5
0.8
401-AH 0.00 426-AH 19.25 0.6
402-AH 1.61 427-AH 0.00 0.4
403-AH 20.29 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 14.29 430-AH 9.68 −0.2
−0.4
406-AH 38.10 431-AH 5.00
−0.6
407-AH 0.00 432-AH 8.33
−0.8
408-AH 38.89 433-AH 29.02
−1
409-AH 63.16 434-AH 15.32 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 42.98
411-AH 0.00 436-AH 15.38
412-AH 0.00 437-AH 52.07 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI5
413-AH 0.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 12.82 0.6
415-AH 7.04 440-AH 5.56 0.4
416-AH 45.45 441-AH 22.22 0.2
Difference
417-AH 8.42 442-AH 50.00 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 2.17 445-AH 75.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 17.65 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 35.94
425-AH 2.70 450-AH 0.00
501
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI6 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,606 Source Language Hungarian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,347 Pooled false
Geometric Mean Average Precision 0.0384 with Wikipedia, 6th best params
Binary Preference (BPREF) 0.1859
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 46.70 BILING_WIKI6
10 32.22 90%
20 26.41
80%
30 21.78
40 19.23 70%
50 15.69
60%
60 12.54
Precision
70 10.25 50%
80 7.12 40%
90 4.90
30%
100 3.26
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
16.45 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8648
Minimum 0.0000
First Quartile 0.0154
Second Quartile 0.0712
Third Quartile 0.2423
Interquartile range 0.2269 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1645
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2107 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5410
15
Mean With No Outliers 0.1263
10
Std With No Outliers 0.1476
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI6
0.8
401-AH 13.05 426-AH 6.20 0.6
402-AH 1.29 427-AH 1.20 0.4
403-AH 14.39 428-AH 3.71 0.2
Difference
404-AH 4.76 429-AH 4.45 0
405-AH 12.87 430-AH 8.17 −0.2
−0.4
406-AH 24.16 431-AH 4.71
−0.6
407-AH 0.70 432-AH 1.18
−0.8
408-AH 43.03 433-AH 17.12
−1
409-AH 62.47 434-AH 10.81 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 24.23 435-AH 46.67
411-AH 1.64 436-AH 7.57
412-AH 0.31 437-AH 43.59 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI6
413-AH 0.84 438-AH 14.08 0.8
414-AH 54.10 439-AH 10.98 0.6
415-AH 2.82 440-AH 5.35 0.4
416-AH 31.18 441-AH 15.71 0.2
Difference
417-AH 4.35 442-AH 47.49 0
418-AH 86.48 443-AH 0.01 −0.2
−0.4
419-AH 6.66 444-AH 6.28
−0.6
420-AH 4.09 445-AH 79.86
−0.8
421-AH 0.00 446-AH 27.28
−1
422-AH 10.54 447-AH 0.23 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 24.71
424-AH 0.00 449-AH 29.56
425-AH 1.54 450-AH 0.17
502
budapest-acad 10.2415/AH-BILI-X2EN-CLEF2007.BUDAPEST-ACAD.BILING_WIKI6 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 26.00 BILING_WIKI6
10 docs 21.80 90%
15 docs 20.80
80%
20 docs 18.80
30 docs 16.93 70%
100 docs 10.22
60%
200 docs 7.64
Precision
500 docs 4.38 50%
1000 docs 2.69 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
18.99
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7857
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1241
Third Quartile 0.2979
Interquartile range 0.2979 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1899
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2089 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6316
Mean With No Outliers 0.1658 10
Std With No Outliers 0.1751
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BILING_WIKI6
0.8
401-AH 16.67 426-AH 16.43 0.6
402-AH 1.61 427-AH 6.25 0.4
403-AH 21.74 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 14.29 430-AH 9.68 −0.2
−0.4
406-AH 38.10 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 44.44 433-AH 29.02
−1
409-AH 63.16 434-AH 16.22 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 43.86
411-AH 0.00 436-AH 12.82
412-AH 0.00 437-AH 50.89 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BILING_WIKI6
413-AH 0.00 438-AH 26.67 0.8
414-AH 50.00 439-AH 12.82 0.6
415-AH 4.23 440-AH 5.56 0.4
416-AH 45.45 441-AH 22.22 0.2
Difference
417-AH 10.53 442-AH 50.00 0
418-AH 78.57 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 12.00
−0.6
420-AH 6.52 445-AH 75.00
−0.8
421-AH 0.00 446-AH 33.33
−1
422-AH 18.63 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 32.81
425-AH 2.70 450-AH 1.67
503
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDDESYNFB10D10T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,828 Pooled false
Geometric Mean Average Precision 0.1577 (See overleaf for description)
Binary Preference (BPREF) 0.3477
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.67 UIQTDDESYNFB10D10T
10 55.48 90%
20 50.25
80%
30 44.80
40 38.84 70%
50 34.58
60%
60 31.01
Precision
70 27.61 50%
80 20.79 40%
90 15.73
30%
100 10.29
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.60 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9151
Minimum 0.0001
First Quartile 0.0766
Second Quartile 0.3109
Third Quartile 0.5256
Interquartile range 0.4490 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3460
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2775 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001 8
Upper Outlier Threshold 0.9151
6
Mean With No Outliers 0.3460
4
Std With No Outliers 0.2775
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDDESYNFB10D10T
0.8
401-AH 41.86 426-AH 19.65 0.6
402-AH 45.92 427-AH 23.96 0.4
403-AH 6.76 428-AH 19.81 0.2
Difference
404-AH 4.00 429-AH 33.92 0
405-AH 44.81 430-AH 51.50 −0.2
−0.4
406-AH 8.35 431-AH 0.19
−0.6
407-AH 40.27 432-AH 35.67
−0.8
408-AH 27.47 433-AH 76.03
−1
409-AH 43.06 434-AH 90.71 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.55 435-AH 72.49
411-AH 6.22 436-AH 22.74
412-AH 1.42 437-AH 48.09 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDDESYNFB10D10T
413-AH 28.52 438-AH 29.90 0.8
414-AH 86.11 439-AH 5.84 0.6
415-AH 27.46 440-AH 9.32 0.4
416-AH 68.47 441-AH 75.53 0.2
Difference
417-AH 4.57 442-AH 52.46 0
418-AH 60.81 443-AH 52.56 −0.2
−0.4
419-AH 70.45 444-AH 32.28
−0.6
420-AH 7.66 445-AH 43.02
−0.8
421-AH 54.71 446-AH 0.01
−1
422-AH 11.19 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.78 448-AH 54.17
424-AH 0.52 449-AH 0.80
425-AH 12.78 450-AH 0.10
504
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDDESYNFB10D10T AH-BILI-X2EN-CLEF2007
Transitive translation for title and description
query using German as pivot language and using #syn
operator. Then, query expansion is done using top
10 terms from top 10 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 42.80 UIQTDDESYNFB10D10T
10 docs 40.80 90%
15 docs 36.67
80%
20 docs 34.50
30 docs 32.07 70%
100 docs 18.98
60%
200 docs 12.04
Precision
500 docs 6.46 50%
1000 docs 3.66 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.73
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8378
Minimum 0.0000
First Quartile 0.1304
Second Quartile 0.3267
Third Quartile 0.5000
Interquartile range 0.3696 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3373
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2555 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8378
6
Mean With No Outliers 0.3373
4
Std With No Outliers 0.2555
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDDESYNFB10D10T
0.8
401-AH 33.33 426-AH 27.70 0.6
402-AH 43.55 427-AH 18.75 0.4
403-AH 13.04 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 40.68 0
405-AH 47.62 430-AH 48.39 −0.2
−0.4
406-AH 9.52 431-AH 0.00
−0.6
407-AH 43.48 432-AH 33.33
−0.8
408-AH 27.78 433-AH 67.06
−1
409-AH 47.37 434-AH 83.78 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 66.67
411-AH 0.00 436-AH 30.77
412-AH 0.00 437-AH 46.15 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDDESYNFB10D10T
413-AH 20.00 438-AH 33.33 0.8
414-AH 75.00 439-AH 15.38 0.6
415-AH 33.80 440-AH 16.67 0.4
416-AH 69.70 441-AH 77.78 0.2
Difference
417-AH 6.32 442-AH 50.00 0
418-AH 57.14 443-AH 61.90 −0.2
−0.4
419-AH 65.22 444-AH 32.00
−0.6
420-AH 13.04 445-AH 50.00
−0.8
421-AH 33.33 446-AH 0.00
−1
422-AH 18.63 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 0.00
425-AH 16.22 450-AH 0.00
505
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDDESYNFB10D5T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 10
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,780 Pooled false
Geometric Mean Average Precision 0.1303 (See overleaf for description)
Binary Preference (BPREF) 0.3321
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 64.71 UIQTDDESYNFB10D5T
10 55.08 90%
20 50.28
80%
30 43.86
40 38.36 70%
50 34.69
60%
60 29.07
Precision
70 24.84 50%
80 19.94 40%
90 15.20
30%
100 9.52
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.42 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9151
Minimum 0.0000
First Quartile 0.0551
Second Quartile 0.3472
Third Quartile 0.4902
Interquartile range 0.4351 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3342
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2708 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9151 5
Mean With No Outliers 0.3342 4
3
Std With No Outliers 0.2708
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDDESYNFB10D5T
0.8
401-AH 36.95 426-AH 17.68 0.6
402-AH 47.61 427-AH 22.22 0.4
403-AH 6.07 428-AH 15.76 0.2
Difference
404-AH 5.00 429-AH 30.31 0
405-AH 47.96 430-AH 47.48 −0.2
−0.4
406-AH 5.04 431-AH 0.13
−0.6
407-AH 38.38 432-AH 35.46
−0.8
408-AH 29.05 433-AH 76.14
−1
409-AH 40.06 434-AH 90.49 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.83 435-AH 73.87
411-AH 6.38 436-AH 23.85
412-AH 0.99 437-AH 46.64 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDDESYNFB10D5T
413-AH 35.54 438-AH 24.24 0.8
414-AH 64.17 439-AH 5.02 0.6
415-AH 33.99 440-AH 5.51 0.4
416-AH 73.35 441-AH 54.05 0.2
Difference
417-AH 3.14 442-AH 49.02 0
418-AH 61.17 443-AH 41.80 −0.2
−0.4
419-AH 71.53 444-AH 36.48
−0.6
420-AH 5.21 445-AH 62.99
−0.8
421-AH 55.15 446-AH 0.02
−1
422-AH 6.74 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.56 448-AH 44.02
424-AH 0.36 449-AH 0.00
425-AH 18.81 450-AH 0.05
506
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDDESYNFB10D5T AH-BILI-X2EN-CLEF2007
Transitive translation for title and description
query using German as pivot language and using #syn
operator. Then, query expansion is done using top 5
terms from top 10 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 41.60 UIQTDDESYNFB10D5T
10 docs 39.40 90%
15 docs 36.93
80%
20 docs 35.00
30 docs 30.73 70%
100 docs 18.66
60%
200 docs 11.85
Precision
500 docs 6.22 50%
1000 docs 3.56 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.34
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1111
Second Quartile 0.3333
Third Quartile 0.4762
Interquartile range 0.3651 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3234
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2477 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3234
4
Std With No Outliers 0.2477
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDDESYNFB10D5T
0.8
401-AH 33.33 426-AH 25.82 0.6
402-AH 48.39 427-AH 12.50 0.4
403-AH 8.70 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 37.29 0
405-AH 47.62 430-AH 41.94 −0.2
−0.4
406-AH 4.76 431-AH 0.00
−0.6
407-AH 43.48 432-AH 33.33
−0.8
408-AH 33.33 433-AH 67.84
−1
409-AH 47.37 434-AH 81.98 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 69.30
411-AH 0.00 436-AH 34.62
412-AH 0.00 437-AH 44.97 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDDESYNFB10D5T
413-AH 20.00 438-AH 23.33 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 38.03 440-AH 11.11 0.4
416-AH 69.70 441-AH 66.67 0.2
Difference
417-AH 6.32 442-AH 41.67 0
418-AH 57.14 443-AH 47.62 −0.2
−0.4
419-AH 69.57 444-AH 40.00
−0.6
420-AH 15.22 445-AH 50.00
−0.8
421-AH 33.33 446-AH 0.00
−1
422-AH 16.67 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 0.00
425-AH 27.03 450-AH 0.00
507
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDDESYNFB5D10T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 9
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,792 Pooled false
Geometric Mean Average Precision 0.1575 (See overleaf for description)
Binary Preference (BPREF) 0.3485
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 66.98 UIQTDDESYNFB5D10T
10 55.01 90%
20 49.27
80%
30 45.65
40 39.65 70%
50 35.66
60%
60 30.46
Precision
70 27.26 50%
80 20.41 40%
90 15.34
30%
100 9.94
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.32 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9207
Minimum 0.0002
First Quartile 0.0680
Second Quartile 0.3301
Third Quartile 0.5520
Interquartile range 0.4840 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3432
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2764 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0002 8
Upper Outlier Threshold 0.9207
6
Mean With No Outliers 0.3432
4
Std With No Outliers 0.2764
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDDESYNFB5D10T
0.8
401-AH 39.47 426-AH 8.65 0.6
402-AH 45.27 427-AH 28.86 0.4
403-AH 2.94 428-AH 6.99 0.2
Difference
404-AH 5.88 429-AH 28.59 0
405-AH 52.78 430-AH 58.45 −0.2
−0.4
406-AH 14.80 431-AH 0.37
−0.6
407-AH 37.24 432-AH 34.25
−0.8
408-AH 27.05 433-AH 75.23
−1
409-AH 46.74 434-AH 92.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.67 435-AH 73.98
411-AH 6.14 436-AH 21.12
412-AH 2.33 437-AH 50.82 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDDESYNFB5D10T
413-AH 32.51 438-AH 25.78 0.8
414-AH 60.60 439-AH 4.93 0.6
415-AH 33.52 440-AH 10.55 0.4
416-AH 68.09 441-AH 74.75 0.2
Difference
417-AH 2.68 442-AH 55.20 0
418-AH 59.30 443-AH 39.51 −0.2
−0.4
419-AH 71.74 444-AH 37.62
−0.6
420-AH 6.80 445-AH 48.22
−0.8
421-AH 54.21 446-AH 0.02
−1
422-AH 10.64 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 4.76 448-AH 63.33
424-AH 0.50 449-AH 1.00
425-AH 16.71 450-AH 0.06
508
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDDESYNFB5D10T AH-BILI-X2EN-CLEF2007
Transitive translation for title and description
query using German as pivot language and using #syn
operator. Then, query expansion is done using top
10 terms from top 5 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 44.40 UIQTDDESYNFB5D10T
10 docs 40.20 90%
15 docs 36.13
80%
20 docs 33.70
30 docs 31.27 70%
100 docs 18.08
60%
200 docs 11.88
Precision
500 docs 6.28 50%
1000 docs 3.58 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.07
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8468
Minimum 0.0000
First Quartile 0.0909
Second Quartile 0.3125
Third Quartile 0.5000
Interquartile range 0.4091 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3307
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2630 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8468 10
Mean With No Outliers 0.3307
Std With No Outliers 0.2630 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDDESYNFB5D10T
0.8
401-AH 33.33 426-AH 16.90 0.6
402-AH 45.16 427-AH 25.00 0.4
403-AH 2.90 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 33.90 0
405-AH 47.62 430-AH 51.61 −0.2
−0.4
406-AH 9.52 431-AH 0.00
−0.6
407-AH 39.13 432-AH 29.17
−0.8
408-AH 27.78 433-AH 65.88
−1
409-AH 36.84 434-AH 84.68 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 70.18
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 47.34 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDDESYNFB5D10T
413-AH 26.67 438-AH 26.67 0.8
414-AH 50.00 439-AH 10.26 0.6
415-AH 38.03 440-AH 22.22 0.4
416-AH 69.70 441-AH 77.78 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 57.14 443-AH 45.24 −0.2
−0.4
419-AH 73.91 444-AH 40.00
−0.6
420-AH 8.70 445-AH 75.00
−0.8
421-AH 33.33 446-AH 0.00
−1
422-AH 19.61 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 0.00 449-AH 0.00
425-AH 16.22 450-AH 0.00
509
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDENGFB5D5T10D19T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 12
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 715 Pooled false
Geometric Mean Average Precision 0.0026 (See overleaf for description)
Binary Preference (BPREF) 0.1257
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 15.21 UIQTDENGFB5D5T10D19T
10 7.90 90%
20 6.84
80%
30 5.49
40 4.72 70%
50 4.06
60%
60 3.74
Precision
70 3.28 50%
80 2.64 40%
90 2.39
30%
100 0.26
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
4.62 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8763
Minimum 0.0000
First Quartile 0.0006
Second Quartile 0.0063
Third Quartile 0.0279
Interquartile range 0.0273 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0462
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1423 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.0429
30
Mean With No Outliers 0.0107
20
Std With No Outliers 0.0132
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDENGFB5D5T10D19T
0.8
401-AH 0.02 426-AH 0.07 0.6
402-AH 3.62 427-AH 0.00 0.4
403-AH 0.88 428-AH 0.08 0.2
Difference
404-AH 0.29 429-AH 0.00 0
405-AH 4.29 430-AH 0.38 −0.2
−0.4
406-AH 2.79 431-AH 87.63
−0.6
407-AH 0.00 432-AH 0.35
−0.8
408-AH 0.37 433-AH 50.95
−1
409-AH 0.63 434-AH 1.27 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 7.01 435-AH 3.41
411-AH 0.26 436-AH 0.80
412-AH 0.03 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDENGFB5D5T10D19T
413-AH 15.24 438-AH 2.19 0.8
414-AH 3.46 439-AH 2.28 0.6
415-AH 0.21 440-AH 0.00 0.4
416-AH 3.64 441-AH 0.00 0.2
Difference
417-AH 2.03 442-AH 0.07 0
418-AH 7.17 443-AH 1.53 −0.2
−0.4
419-AH 2.77 444-AH 1.95
−0.6
420-AH 15.96 445-AH 2.50
−0.8
421-AH 0.08 446-AH 0.00
−1
422-AH 0.06 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.65 448-AH 0.00
424-AH 0.17 449-AH 3.18
425-AH 0.63 450-AH 0.00
510
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDENGFB5D5T10D19T AH-BILI-X2EN-CLEF2007
Pseudo translation for title and description query
using parallel corpus. Then, query expansion is
applied using top 5 terms from top 5 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 6.80 UIQTDENGFB5D5T10D19T
10 docs 8.20 90%
15 docs 7.07
80%
20 docs 6.30
30 docs 5.80 70%
100 docs 4.24
60%
200 docs 3.37
Precision
500 docs 2.34 50%
1000 docs 1.43 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
6.11
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0714
Interquartile range 0.0714 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0611
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1366 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1250 25
Mean With No Outliers 0.0267 20
15
Std With No Outliers 0.0382
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDENGFB5D5T10D19T
0.8
401-AH 0.00 426-AH 0.94 0.6
402-AH 6.45 427-AH 0.00 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 9.52 430-AH 0.00 −0.2
−0.4
406-AH 9.52 431-AH 75.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 0.00 433-AH 54.90
−1
409-AH 0.00 434-AH 7.21 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 10.64 435-AH 5.26
411-AH 0.00 436-AH 1.28
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDENGFB5D5T10D19T
413-AH 26.67 438-AH 0.00 0.8
414-AH 0.00 439-AH 10.26 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 3.03 441-AH 0.00 0.2
Difference
417-AH 7.37 442-AH 0.00 0
418-AH 7.14 443-AH 7.14 −0.2
−0.4
419-AH 8.70 444-AH 4.00
−0.6
420-AH 26.09 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 1.96 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 12.50
425-AH 2.70 450-AH 0.00
511
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDENGPSEUDOTRANS20D14T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 11
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 641 Pooled false
Geometric Mean Average Precision 0.0016 Pseudo translation using parallel corpus.
Binary Preference (BPREF) 0.0979
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 15.08 UIQTDENGPSEUDOTRANS20D14T
10 7.79 90%
20 6.41
80%
30 5.14
40 4.43 70%
50 3.42
60%
60 2.51
Precision
70 1.78 50%
80 1.26 40%
90 0.74
30%
100 0.00
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
3.74 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.4374
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0029
Third Quartile 0.0320
Interquartile range 0.0320 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0374
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.0823 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.0700
30
Mean With No Outliers 0.0096
20
Std With No Outliers 0.0165
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDENGPSEUDOTRANS20D14T
0.8
401-AH 0.23 426-AH 0.08 0.6
402-AH 3.49 427-AH 4.16 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 1.38 430-AH 0.69 −0.2
−0.4
406-AH 5.01 431-AH 4.43
−0.6
407-AH 0.01 432-AH 0.00
−0.8
408-AH 15.57 433-AH 43.74
−1
409-AH 14.66 434-AH 0.24 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 9.24 435-AH 3.20
411-AH 0.32 436-AH 0.06
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDENGPSEUDOTRANS20D14T
413-AH 19.00 438-AH 2.53 0.8
414-AH 0.15 439-AH 0.39 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 2.37 441-AH 0.05 0.2
Difference
417-AH 0.80 442-AH 14.41 0
418-AH 0.00 443-AH 0.35 −0.2
−0.4
419-AH 0.56 444-AH 0.19
−0.6
420-AH 28.96 445-AH 0.66
−0.8
421-AH 0.55 446-AH 0.05
−1
422-AH 0.03 447-AH 0.02 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.25 448-AH 0.00
424-AH 0.00 449-AH 7.00
425-AH 1.96 450-AH 0.00
512
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDENGPSEUDOTRANS20D14T AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 7.20 UIQTDENGPSEUDOTRANS20D14T
10 docs 6.80 90%
15 docs 6.27
80%
20 docs 6.50
30 docs 5.73 70%
100 docs 4.16
60%
200 docs 3.15
Precision
500 docs 2.08 50%
1000 docs 1.28 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
5.69
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.4863
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0541
Interquartile range 0.0541 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0569
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1072 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1228 25
Mean With No Outliers 0.0159 20
15
Std With No Outliers 0.0298
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDENGPSEUDOTRANS20D14T
0.8
401-AH 0.00 426-AH 0.94 0.6
402-AH 8.06 427-AH 0.00 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 4.76 430-AH 3.23 −0.2
−0.4
406-AH 14.29 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 27.78 433-AH 48.63
−1
409-AH 21.05 434-AH 4.50 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 17.02 435-AH 12.28
411-AH 0.00 436-AH 1.28
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDENGPSEUDOTRANS20D14T
413-AH 26.67 438-AH 3.33 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 6.06 441-AH 0.00 0.2
Difference
417-AH 5.26 442-AH 25.00 0
418-AH 0.00 443-AH 2.38 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 36.96 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 0.00 447-AH 0.00 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 9.38
425-AH 5.41 450-AH 0.00
513
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYN AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,667 Pooled false
Geometric Mean Average Precision 0.1605 (See overleaf for description)
Binary Preference (BPREF) 0.3003
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 59.77 UIQTDINTERSECTIONUNIONSYN
10 50.37 90%
20 43.12
80%
30 36.20
40 32.05 70%
50 29.19
60%
60 23.27
Precision
70 19.52 50%
80 15.39 40%
90 12.28
30%
100 6.76
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
28.31 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8734
Minimum 0.0025
First Quartile 0.0738
Second Quartile 0.2289
Third Quartile 0.4572
Interquartile range 0.3834 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2831
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2428 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0025 8
Upper Outlier Threshold 0.8734
6
Mean With No Outliers 0.2831
4
Std With No Outliers 0.2428
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDINTERSECTIONUNIONSYN
0.8
401-AH 37.25 426-AH 12.71 0.6
402-AH 15.35 427-AH 30.33 0.4
403-AH 6.23 428-AH 12.31 0.2
Difference
404-AH 8.33 429-AH 29.04 0
405-AH 36.23 430-AH 35.96 −0.2
−0.4
406-AH 3.83 431-AH 57.27
−0.6
407-AH 45.72 432-AH 27.57
−0.8
408-AH 33.42 433-AH 79.48
−1
409-AH 17.69 434-AH 56.44 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 77.12 435-AH 51.81
411-AH 4.03 436-AH 7.81
412-AH 5.66 437-AH 28.75 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDINTERSECTIONUNIONSYN
413-AH 30.34 438-AH 22.75 0.8
414-AH 70.19 439-AH 7.38 0.6
415-AH 0.74 440-AH 2.56 0.4
416-AH 59.86 441-AH 15.87 0.2
Difference
417-AH 1.69 442-AH 54.65 0
418-AH 73.63 443-AH 37.52 −0.2
−0.4
419-AH 13.05 444-AH 16.75
−0.6
420-AH 8.50 445-AH 30.54
−0.8
421-AH 55.53 446-AH 23.04
−1
422-AH 4.55 447-AH 87.34 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 4.55 448-AH 52.76
424-AH 1.80 449-AH 2.73
425-AH 16.33 450-AH 0.25
514
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYN AH-BILI-X2EN-CLEF2007
Transitive translation for title and description
query using intersection between German and French
and using #syn operator
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 36.40 UIQTDINTERSECTIONUNIONSYN
10 docs 33.20 90%
15 docs 32.40
80%
20 docs 30.00
30 docs 26.20 70%
100 docs 16.14
60%
200 docs 10.96
Precision
500 docs 5.87 50%
1000 docs 3.33 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
28.31
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1282
Second Quartile 0.2413
Third Quartile 0.4286
Interquartile range 0.3004 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2831
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2156 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.2831
4
Std With No Outliers 0.2156
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDINTERSECTIONUNIONSYN
0.8
401-AH 33.33 426-AH 23.94 0.6
402-AH 25.81 427-AH 31.25 0.4
403-AH 15.94 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 35.59 0
405-AH 33.33 430-AH 35.48 −0.2
−0.4
406-AH 9.52 431-AH 60.00
−0.6
407-AH 47.83 432-AH 29.17
−0.8
408-AH 27.78 433-AH 70.98
−1
409-AH 15.79 434-AH 56.76 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 74.47 435-AH 51.75
411-AH 0.00 436-AH 12.82
412-AH 14.81 437-AH 36.69 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDINTERSECTIONUNIONSYN
413-AH 20.00 438-AH 23.33 0.8
414-AH 50.00 439-AH 14.10 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 54.55 441-AH 11.11 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 64.29 443-AH 42.86 −0.2
−0.4
419-AH 21.74 444-AH 20.00
−0.6
420-AH 17.39 445-AH 25.00
−0.8
421-AH 41.67 446-AH 16.67
−1
422-AH 11.76 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 0.00 449-AH 3.12
425-AH 24.32 450-AH 3.33
515
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYNFB10D10T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,782 Pooled false
Geometric Mean Average Precision 0.1576 (See overleaf for description)
Binary Preference (BPREF) 0.3333
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.42 UIQTDINTERSECTIONUNIONSYNFB10D10T
10 51.06 90%
20 46.48
80%
30 41.67
40 36.12 70%
50 33.79
60%
60 30.47
Precision
70 25.99 50%
80 20.87 40%
90 16.33
30%
100 10.11
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.97 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9200
Minimum 0.0003
First Quartile 0.0610
Second Quartile 0.3094
Third Quartile 0.4728
Interquartile range 0.4118 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3297
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2763 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003 8
Upper Outlier Threshold 0.9200
6
Mean With No Outliers 0.3297
4
Std With No Outliers 0.2763
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDINTERSECTIONUNIONSYNFB10D10T
0.8
401-AH 44.28 426-AH 18.53 0.6
402-AH 9.80 427-AH 31.22 0.4
403-AH 6.10 428-AH 14.10 0.2
Difference
404-AH 5.00 429-AH 25.96 0
405-AH 44.96 430-AH 47.17 −0.2
−0.4
406-AH 5.36 431-AH 89.24
−0.6
407-AH 44.49 432-AH 33.40
−0.8
408-AH 27.94 433-AH 79.95
−1
409-AH 32.72 434-AH 92.00 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 81.43 435-AH 74.29
411-AH 5.61 436-AH 30.66
412-AH 4.44 437-AH 33.45 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDINTERSECTIONUNIONSYNFB10D10T
413-AH 29.59 438-AH 27.42 0.8
414-AH 79.86 439-AH 6.83 0.6
415-AH 4.27 440-AH 0.12 0.4
416-AH 59.95 441-AH 46.39 0.2
Difference
417-AH 1.23 442-AH 34.35 0
418-AH 55.74 443-AH 47.28 −0.2
−0.4
419-AH 62.72 444-AH 37.33
−0.6
420-AH 2.84 445-AH 18.06
−0.8
421-AH 52.09 446-AH 31.79
−1
422-AH 7.91 447-AH 91.51 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 1.43 448-AH 52.86
424-AH 0.59 449-AH 0.86
425-AH 13.18 450-AH 0.03
516
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYNFB10D10T AH-BILI-X2EN-CLEF2007
Transitive translation for title and description
query using intersection between German and French
and using #syn operator. Then, query expansion is
done using top 10 terms from top 10 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 40.00 UIQTDINTERSECTIONUNIONSYNFB10D10T
10 docs 36.60 90%
15 docs 35.60
80%
20 docs 33.70
30 docs 30.20 70%
100 docs 18.08
60%
200 docs 11.83
Precision
500 docs 6.17 50%
1000 docs 3.56 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.76
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8500
Minimum 0.0000
First Quartile 0.1154
Second Quartile 0.3021
Third Quartile 0.4783
Interquartile range 0.3629 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3276
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2562 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8500
6
Mean With No Outliers 0.3276
4
Std With No Outliers 0.2562
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDINTERSECTIONUNIONSYNFB10D10T
0.8
401-AH 33.33 426-AH 27.70 0.6
402-AH 14.52 427-AH 31.25 0.4
403-AH 14.49 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 37.29 0
405-AH 42.86 430-AH 45.16 −0.2
−0.4
406-AH 14.29 431-AH 85.00
−0.6
407-AH 47.83 432-AH 29.17
−0.8
408-AH 27.78 433-AH 70.98
−1
409-AH 36.84 434-AH 84.68 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 76.60 435-AH 68.42
411-AH 0.00 436-AH 35.90
412-AH 3.70 437-AH 36.69 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDINTERSECTIONUNIONSYNFB10D10T
413-AH 20.00 438-AH 26.67 0.8
414-AH 75.00 439-AH 11.54 0.6
415-AH 4.23 440-AH 0.00 0.4
416-AH 63.64 441-AH 66.67 0.2
Difference
417-AH 4.21 442-AH 41.67 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 65.22 444-AH 36.00
−0.6
420-AH 6.52 445-AH 25.00
−0.8
421-AH 33.33 446-AH 33.33
−1
422-AH 18.63 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 0.00
425-AH 24.32 450-AH 0.00
517
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYNFB5D10T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,771 Pooled false
Geometric Mean Average Precision 0.1612 (See overleaf for description)
Binary Preference (BPREF) 0.3462
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.94 UIQTDINTERSECTIONUNIONSYNFB5D10T
10 53.92 90%
20 48.89
80%
30 43.98
40 39.25 70%
50 35.80
60%
60 30.98
Precision
70 26.98 50%
80 21.81 40%
90 17.35
30%
100 11.45
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.37 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9245
Minimum 0.0005
First Quartile 0.0546
Second Quartile 0.3031
Third Quartile 0.5320
Interquartile range 0.4773 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3437
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2828 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0005 8
Upper Outlier Threshold 0.9245
6
Mean With No Outliers 0.3437
4
Std With No Outliers 0.2828
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDINTERSECTIONUNIONSYNFB5D10T
0.8
401-AH 40.73 426-AH 22.98 0.6
402-AH 9.23 427-AH 29.79 0.4
403-AH 4.85 428-AH 8.67 0.2
Difference
404-AH 5.26 429-AH 33.37 0
405-AH 48.18 430-AH 53.13 −0.2
−0.4
406-AH 4.56 431-AH 91.89
−0.6
407-AH 40.39 432-AH 29.25
−0.8
408-AH 27.92 433-AH 78.70
−1
409-AH 34.95 434-AH 92.45 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 81.79 435-AH 70.46
411-AH 5.80 436-AH 27.54
412-AH 2.14 437-AH 50.20 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDINTERSECTIONUNIONSYNFB5D10T
413-AH 29.92 438-AH 30.69 0.8
414-AH 76.11 439-AH 5.20 0.6
415-AH 7.65 440-AH 0.26 0.4
416-AH 65.18 441-AH 35.64 0.2
Difference
417-AH 0.80 442-AH 50.04 0
418-AH 61.18 443-AH 41.18 −0.2
−0.4
419-AH 63.26 444-AH 40.60
−0.6
420-AH 1.94 445-AH 29.48
−0.8
421-AH 53.20 446-AH 61.90
−1
422-AH 5.46 447-AH 91.51 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 2.78 448-AH 55.83
424-AH 0.32 449-AH 1.15
425-AH 13.09 450-AH 0.05
518
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDINTERSECTIONUNIONSYNFB5D10T AH-BILI-X2EN-CLEF2007
Transitive translation for title and description
query using intersection between German and French
and using #syn operator. Then, query expansion is
done using top 10 terms from top 5 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 42.40 UIQTDINTERSECTIONUNIONSYNFB5D10T
10 docs 38.00 90%
15 docs 36.53
80%
20 docs 34.30
30 docs 30.73 70%
100 docs 18.28
60%
200 docs 11.86
Precision
500 docs 6.30 50%
1000 docs 3.54 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.88
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8559
Minimum 0.0000
First Quartile 0.0909
Second Quartile 0.3286
Third Quartile 0.5000
Interquartile range 0.4091 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3288
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2572 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8559 10
Mean With No Outliers 0.3288
Std With No Outliers 0.2572 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDINTERSECTIONUNIONSYNFB5D10T
0.8
401-AH 33.33 426-AH 32.39 0.6
402-AH 17.74 427-AH 31.25 0.4
403-AH 2.90 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 33.90 0
405-AH 47.62 430-AH 54.84 −0.2
−0.4
406-AH 9.52 431-AH 80.00
−0.6
407-AH 43.48 432-AH 29.17
−0.8
408-AH 27.78 433-AH 70.20
−1
409-AH 36.84 434-AH 85.59 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 76.60 435-AH 64.91
411-AH 0.00 436-AH 37.18
412-AH 0.00 437-AH 49.11 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDINTERSECTIONUNIONSYNFB5D10T
413-AH 33.33 438-AH 30.00 0.8
414-AH 50.00 439-AH 8.97 0.6
415-AH 14.08 440-AH 0.00 0.4
416-AH 69.70 441-AH 44.44 0.2
Difference
417-AH 4.21 442-AH 41.67 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 69.57 444-AH 40.00
−0.6
420-AH 2.17 445-AH 25.00
−0.8
421-AH 33.33 446-AH 66.67
−1
422-AH 12.75 447-AH 83.33 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 0.00
425-AH 16.22 450-AH 0.00
519
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDTOGGLE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 7
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,782 Pooled false
Geometric Mean Average Precision 0.2113 Query translation with title and description query
Binary Preference (BPREF) 0.3523 using Machine Translation.
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.36 UIQTDTOGGLE
10 60.97 90%
20 51.40
80%
30 46.79
40 41.51 70%
50 36.94
60%
60 28.35
Precision
70 22.86 50%
80 17.69 40%
90 13.38
30%
100 7.00
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.18 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8179
Minimum 0.0002
First Quartile 0.1240
Second Quartile 0.3162
Third Quartile 0.5164
Interquartile range 0.3924 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3418
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2374 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0002 5
Upper Outlier Threshold 0.8179 4
Mean With No Outliers 0.3418 3
Std With No Outliers 0.2374 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDTOGGLE
0.8
401-AH 39.48 426-AH 16.60 0.6
402-AH 49.52 427-AH 22.57 0.4
403-AH 12.40 428-AH 12.16 0.2
Difference
404-AH 16.67 429-AH 31.92 0
405-AH 63.59 430-AH 58.43 −0.2
−0.4
406-AH 1.79 431-AH 25.93
−0.6
407-AH 51.64 432-AH 31.32
−0.8
408-AH 14.20 433-AH 48.67
−1
409-AH 52.82 434-AH 43.03 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.19 435-AH 68.59
411-AH 5.72 436-AH 28.76
412-AH 6.11 437-AH 73.30 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDTOGGLE
413-AH 32.47 438-AH 20.48 0.8
414-AH 73.33 439-AH 5.20 0.6
415-AH 2.21 440-AH 10.75 0.4
416-AH 70.07 441-AH 46.63 0.2
Difference
417-AH 9.39 442-AH 54.12 0
418-AH 70.71 443-AH 36.52 −0.2
−0.4
419-AH 56.25 444-AH 23.39
−0.6
420-AH 49.94 445-AH 50.22
−0.8
421-AH 42.05 446-AH 43.33
−1
422-AH 9.60 447-AH 81.79 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 5.26 448-AH 25.86
424-AH 1.62 449-AH 14.92
425-AH 22.30 450-AH 0.02
520
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDTOGGLE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 51.20 UIQTDTOGGLE
10 docs 42.60 90%
15 docs 39.33
80%
20 docs 36.60
30 docs 32.80 70%
100 docs 18.90
60%
200 docs 12.27
Precision
500 docs 6.30 50%
1000 docs 3.56 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.53
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1406
Second Quartile 0.3333
Third Quartile 0.5000
Interquartile range 0.3594 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3453
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2282 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3453 4
3
Std With No Outliers 0.2282
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDTOGGLE
0.8
401-AH 33.33 426-AH 26.29 0.6
402-AH 46.77 427-AH 12.50 0.4
403-AH 17.39 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 40.68 0
405-AH 57.14 430-AH 51.61 −0.2
−0.4
406-AH 9.52 431-AH 30.00
−0.6
407-AH 52.17 432-AH 50.00
−0.8
408-AH 11.11 433-AH 44.31
−1
409-AH 52.63 434-AH 46.85 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 66.67
411-AH 10.00 436-AH 39.74
412-AH 11.11 437-AH 68.64 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDTOGGLE
413-AH 26.67 438-AH 20.00 0.8
414-AH 50.00 439-AH 8.97 0.6
415-AH 7.04 440-AH 11.11 0.4
416-AH 72.73 441-AH 55.56 0.2
Difference
417-AH 16.84 442-AH 50.00 0
418-AH 71.43 443-AH 47.62 −0.2
−0.4
419-AH 60.87 444-AH 20.00
−0.6
420-AH 47.83 445-AH 50.00
−0.8
421-AH 33.33 446-AH 41.67
−1
422-AH 17.65 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 14.06
425-AH 21.62 450-AH 0.00
521
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDTOGGLEFB10D10T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,944 Pooled false
Geometric Mean Average Precision 0.2198 (See overleaf for description)
Binary Preference (BPREF) 0.3835
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 70.14 UIQTDTOGGLEFB10D10T
10 59.50 90%
20 54.82
80%
30 52.40
40 45.79 70%
50 41.67
60%
60 34.80
Precision
70 30.16 50%
80 23.35 40%
90 18.12
30%
100 10.46
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
38.78 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9151
Minimum 0.0001
First Quartile 0.1043
Second Quartile 0.3460
Third Quartile 0.6354
Interquartile range 0.5312 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3878
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2785 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001 5
Upper Outlier Threshold 0.9151 4
Mean With No Outliers 0.3878 3
Std With No Outliers 0.2785 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDTOGGLEFB10D10T
0.8
401-AH 38.76 426-AH 24.63 0.6
402-AH 47.44 427-AH 22.19 0.4
403-AH 8.45 428-AH 4.34 0.2
Difference
404-AH 7.14 429-AH 27.29 0
405-AH 64.37 430-AH 60.31 −0.2
−0.4
406-AH 5.78 431-AH 63.54
−0.6
407-AH 68.17 432-AH 37.59
−0.8
408-AH 31.04 433-AH 71.06
−1
409-AH 66.40 434-AH 79.14 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 79.37 435-AH 77.42
411-AH 5.88 436-AH 29.00
412-AH 2.23 437-AH 82.11 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTDTOGGLEFB10D10T
413-AH 32.86 438-AH 22.73 0.8
414-AH 89.29 439-AH 10.35 0.6
415-AH 13.00 440-AH 8.89 0.4
416-AH 63.21 441-AH 67.16 0.2
Difference
417-AH 14.80 442-AH 58.82 0
418-AH 62.80 443-AH 34.69 −0.2
−0.4
419-AH 75.87 444-AH 34.50
−0.6
420-AH 56.99 445-AH 43.99
−0.8
421-AH 47.73 446-AH 29.87
−1
422-AH 10.43 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 4.17 448-AH 8.49
424-AH 0.18 449-AH 40.95
425-AH 12.09 450-AH 0.01
522
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTDTOGGLEFB10D10T AH-BILI-X2EN-CLEF2007
Query translation with title and description query
using Machine Translation. Then, query expansion is
done using top 10 terms from top 10 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 48.80 UIQTDTOGGLEFB10D10T
10 docs 45.60 90%
15 docs 42.53
80%
20 docs 40.20
30 docs 35.00 70%
100 docs 21.12
60%
200 docs 14.04
Precision
500 docs 7.06 50%
1000 docs 3.89 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
38.12
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1622
Second Quartile 0.3859
Third Quartile 0.6000
Interquartile range 0.4378 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3812
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2549 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3812 4
3
Std With No Outliers 0.2549
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTDTOGGLEFB10D10T
0.8
401-AH 33.33 426-AH 33.33 0.6
402-AH 43.55 427-AH 12.50 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 35.59 0
405-AH 61.90 430-AH 54.84 −0.2
−0.4
406-AH 14.29 431-AH 60.00
−0.6
407-AH 65.22 432-AH 45.83
−0.8
408-AH 27.78 433-AH 62.75
−1
409-AH 57.89 434-AH 72.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.85 435-AH 71.93
411-AH 0.00 436-AH 37.18
412-AH 3.70 437-AH 74.56 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTDTOGGLEFB10D10T
413-AH 26.67 438-AH 20.00 0.8
414-AH 75.00 439-AH 21.79 0.6
415-AH 22.54 440-AH 22.22 0.4
416-AH 66.67 441-AH 66.67 0.2
Difference
417-AH 14.74 442-AH 58.33 0
418-AH 50.00 443-AH 45.24 −0.2
−0.4
419-AH 73.91 444-AH 40.00
−0.6
420-AH 50.00 445-AH 50.00
−0.8
421-AH 41.67 446-AH 33.33
−1
422-AH 21.57 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 45.31
425-AH 16.22 450-AH 0.00
523
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTTOGGLE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 8
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,011 Source Language Indonesian
Relevant 2,247 Topic Fields title
Relevant retrieved 1,515 Pooled false
Geometric Mean Average Precision 0.1832 Query translation with title query using Machine
Binary Preference (BPREF) 0.3285 Translation.
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 73.60 UIQTTOGGLE
10 58.12 90%
20 50.31
80%
30 43.01
40 39.05 70%
50 35.14
60%
60 26.26
Precision
70 21.89 50%
80 17.23 40%
90 12.78
30%
100 7.55
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.37 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8734
Minimum 0.0003
First Quartile 0.1025
Second Quartile 0.2784
Third Quartile 0.5219
Interquartile range 0.4193 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3237
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2429 6
Number of Topics of the Experiment
Lower Outlier Threshold 0.0003 5
Upper Outlier Threshold 0.8734 4
Mean With No Outliers 0.3237 3
Std With No Outliers 0.2429 2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTTOGGLE
0.8
401-AH 38.88 426-AH 13.92 0.6
402-AH 52.19 427-AH 41.52 0.4
403-AH 3.96 428-AH 4.53 0.2
Difference
404-AH 10.00 429-AH 20.54 0
405-AH 61.83 430-AH 57.36 −0.2
−0.4
406-AH 4.35 431-AH 39.41
−0.6
407-AH 52.45 432-AH 22.49
−0.8
408-AH 10.25 433-AH 0.82
−1
409-AH 43.09 434-AH 42.78 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 75.99 435-AH 74.24
411-AH 5.43 436-AH 18.55
412-AH 15.07 437-AH 59.45 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTTOGGLE
413-AH 32.16 438-AH 14.12 0.8
414-AH 72.50 439-AH 5.42 0.6
415-AH 0.17 440-AH 7.72 0.4
416-AH 69.24 441-AH 43.67 0.2
Difference
417-AH 17.06 442-AH 54.54 0
418-AH 65.28 443-AH 46.07 −0.2
−0.4
419-AH 54.29 444-AH 19.40
−0.6
420-AH 41.22 445-AH 44.73
−0.8
421-AH 45.38 446-AH 16.99
−1
422-AH 5.36 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 5.56 448-AH 49.85
424-AH 23.53 449-AH 14.92
425-AH 12.64 450-AH 0.03
524
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTTOGGLE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 46.80 UIQTTOGGLE
10 docs 40.80 90%
15 docs 37.60
80%
20 docs 33.90
30 docs 28.73 70%
100 docs 16.52
60%
200 docs 10.77
Precision
500 docs 5.33 50%
1000 docs 3.03 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.74
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1351
Second Quartile 0.2624
Third Quartile 0.5238
Interquartile range 0.3887 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3374
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2337 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3374 4
3
Std With No Outliers 0.2337
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTTOGGLE
0.8
401-AH 50.00 426-AH 25.82 0.6
402-AH 54.84 427-AH 50.00 0.4
403-AH 8.70 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 57.14 430-AH 58.06 −0.2
−0.4
406-AH 9.52 431-AH 45.00
−0.6
407-AH 56.52 432-AH 45.83
−0.8
408-AH 5.56 433-AH 3.92
−1
409-AH 47.37 434-AH 45.95 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 70.18
411-AH 0.00 436-AH 25.64
412-AH 18.52 437-AH 63.91 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTTOGGLE
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 8.97 0.6
415-AH 2.82 440-AH 22.22 0.4
416-AH 63.64 441-AH 55.56 0.2
Difference
417-AH 24.21 442-AH 50.00 0
418-AH 64.29 443-AH 52.38 −0.2
−0.4
419-AH 60.87 444-AH 20.00
−0.6
420-AH 36.96 445-AH 50.00
−0.8
421-AH 41.67 446-AH 16.67
−1
422-AH 11.76 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 20.00 449-AH 20.31
425-AH 13.51 450-AH 1.67
525
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTTOGGLEFB10D10T AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title
Relevant retrieved 1,579 Pooled true
Geometric Mean Average Precision 0.1816 (See overleaf for description)
Binary Preference (BPREF) 0.3664
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 67.89 UIQTTOGGLEFB10D10T
10 57.36 90%
20 52.60
80%
30 47.33
40 43.89 70%
50 41.46
60%
60 34.69
Precision
70 30.98 50%
80 23.33 40%
90 17.99
30%
100 9.71
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
37.72 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9151
Minimum 0.0001
First Quartile 0.0937
Second Quartile 0.3232
Third Quartile 0.6350
Interquartile range 0.5413 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3772
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2897 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0001
6
Upper Outlier Threshold 0.9151 5
Mean With No Outliers 0.3772 4
3
Std With No Outliers 0.2897
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTTOGGLEFB10D10T
0.8
401-AH 40.29 426-AH 19.32 0.6
402-AH 51.55 427-AH 37.04 0.4
403-AH 0.08 428-AH 6.96 0.2
Difference
404-AH 6.67 429-AH 32.30 0
405-AH 60.61 430-AH 66.63 −0.2
−0.4
406-AH 6.24 431-AH 85.79
−0.6
407-AH 68.36 432-AH 36.50
−0.8
408-AH 27.14 433-AH 1.28
−1
409-AH 63.50 434-AH 79.78 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 79.95 435-AH 75.89
411-AH 6.18 436-AH 21.24
412-AH 5.37 437-AH 83.20 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
UIQTTOGGLEFB10D10T
413-AH 31.41 438-AH 16.87 0.8
414-AH 72.92 439-AH 9.92 0.6
415-AH 0.14 440-AH 9.37 0.4
416-AH 68.34 441-AH 73.00 0.2
Difference
417-AH 17.49 442-AH 61.55 0
418-AH 60.87 443-AH 59.20 −0.2
−0.4
419-AH 73.97 444-AH 13.62
−0.6
420-AH 51.42 445-AH 32.35
−0.8
421-AH 48.10 446-AH 21.78
−1
422-AH 2.51 447-AH 91.51 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.56 448-AH 56.25
424-AH 4.57 449-AH 29.06
425-AH 15.26 450-AH 0.01
526
depok 10.2415/AH-BILI-X2EN-CLEF2007.DEPOK.UIQTTOGGLEFB10D10T AH-BILI-X2EN-CLEF2007
Query translation with title using Machine
Translation. Then, query expansion is done using
top 10 terms from top 10 documents.
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 48.40 UIQTTOGGLEFB10D10T
10 docs 43.80 90%
15 docs 40.53
80%
20 docs 38.00
30 docs 33.73 70%
100 docs 19.08
60%
200 docs 11.85
Precision
500 docs 5.75 50%
1000 docs 3.16 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
37.59
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1600
Second Quartile 0.3088
Third Quartile 0.6429
Interquartile range 0.4829 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3759
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2729 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.8333 5
Mean With No Outliers 0.3759 4
3
Std With No Outliers 0.2729
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries UIQTTOGGLEFB10D10T
0.8
401-AH 50.00 426-AH 21.60 0.6
402-AH 48.39 427-AH 31.25 0.4
403-AH 1.45 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 30.51 0
405-AH 57.14 430-AH 64.52 −0.2
−0.4
406-AH 9.52 431-AH 80.00
−0.6
407-AH 69.57 432-AH 45.83
−0.8
408-AH 27.78 433-AH 6.27
−1
409-AH 63.16 434-AH 73.87 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.60 435-AH 71.05
411-AH 0.00 436-AH 28.21
412-AH 3.70 437-AH 73.37 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
UIQTTOGGLEFB10D10T
413-AH 26.67 438-AH 20.00 0.8
414-AH 75.00 439-AH 20.51 0.6
415-AH 0.00 440-AH 16.67 0.4
416-AH 69.70 441-AH 77.78 0.2
Difference
417-AH 27.37 442-AH 58.33 0
418-AH 50.00 443-AH 64.29 −0.2
−0.4
419-AH 73.91 444-AH 16.00
−0.6
420-AH 50.00 445-AH 25.00
−0.8
421-AH 41.67 446-AH 25.00
−1
422-AH 8.82 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 0.00 449-AH 37.50
425-AH 18.92 450-AH 0.00
527
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.HITD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description
Relevant retrieved 958 Pooled false
Geometric Mean Average Precision 0.0319 Hindi English
Binary Preference (BPREF) 0.2104
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 40.84 HITD
10 31.39 90%
20 27.89
80%
30 21.14
40 18.70 70%
50 15.49
60%
60 10.95
Precision
70 9.07 50%
80 6.50 40%
90 3.96
30%
100 2.22
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
15.60 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8381
Minimum 0.0000
First Quartile 0.0137
Second Quartile 0.0718
Third Quartile 0.2215
Interquartile range 0.2078 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1560
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2025 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5009
15
Mean With No Outliers 0.1192
10
Std With No Outliers 0.1409
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries HITD
0.8
401-AH 6.94 426-AH 0.21 0.6
402-AH 3.74 427-AH 49.47 0.4
403-AH 0.36 428-AH 0.54 0.2
Difference
404-AH 33.33 429-AH 18.94 0
405-AH 12.57 430-AH 24.09 −0.2
−0.4
406-AH 0.40 431-AH 10.80
−0.6
407-AH 49.03 432-AH 0.82
−0.8
408-AH 17.07 433-AH 0.07
−1
409-AH 58.53 434-AH 0.05 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 32.69 435-AH 8.80
411-AH 3.53 436-AH 22.15
412-AH 11.37 437-AH 13.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
HITD
413-AH 0.02 438-AH 11.18 0.8
414-AH 1.78 439-AH 6.54 0.6
415-AH 0.01 440-AH 24.51 0.4
416-AH 0.00 441-AH 2.94 0.2
Difference
417-AH 2.85 442-AH 77.51 0
418-AH 35.06 443-AH 7.42 −0.2
−0.4
419-AH 2.00 444-AH 15.37
−0.6
420-AH 4.37 445-AH 50.09
−0.8
421-AH 83.81 446-AH 6.88
−1
422-AH 1.99 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.37 448-AH 18.56
424-AH 28.51 449-AH 16.63
425-AH 2.05 450-AH 0.04
528
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.HITD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 22.40 HITD
10 docs 18.20 90%
15 docs 16.93
80%
20 docs 15.10
30 docs 13.40 70%
100 docs 8.08
60%
200 docs 5.52
Precision
500 docs 3.22 50%
1000 docs 1.92 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
16.89
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1036
Third Quartile 0.2500
Interquartile range 0.2500 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1689
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2062 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.5000
15
Mean With No Outliers 0.1326
10
Std With No Outliers 0.1495
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries HITD
0.8
401-AH 0.00 426-AH 1.88 0.6
402-AH 4.84 427-AH 43.75 0.4
403-AH 2.90 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 23.73 0
405-AH 14.29 430-AH 35.48 −0.2
−0.4
406-AH 0.00 431-AH 20.00
−0.6
407-AH 47.83 432-AH 4.17
−0.8
408-AH 22.22 433-AH 1.57
−1
409-AH 63.16 434-AH 0.90 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 40.43 435-AH 17.54
411-AH 0.00 436-AH 25.64
412-AH 18.52 437-AH 14.79 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
HITD
413-AH 0.00 438-AH 6.67 0.8
414-AH 0.00 439-AH 12.82 0.6
415-AH 0.00 440-AH 27.78 0.4
416-AH 0.00 441-AH 0.00 0.2
Difference
417-AH 5.26 442-AH 75.00 0
418-AH 21.43 443-AH 11.90 −0.2
−0.4
419-AH 0.00 444-AH 20.00
−0.6
420-AH 17.39 445-AH 50.00
−0.8
421-AH 83.33 446-AH 0.00
−1
422-AH 8.82 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 40.00 449-AH 32.81
425-AH 2.70 450-AH 0.00
529
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.NOST_OMTDN07 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Oromo
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,439 Pooled false
Geometric Mean Average Precision 0.0619 Oromo-English Title, Description and Narration Run
Binary Preference (BPREF) 0.2524 without Stemming
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 49.74 NOST_OMTDN07
10 40.92 90%
20 34.45
80%
30 28.54
40 22.59 70%
50 18.71
60%
60 15.36
Precision
70 11.54 50%
80 8.49 40%
90 5.87
30%
100 3.35
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
20.38 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8734
Minimum 0.0000
First Quartile 0.0227
Second Quartile 0.1489
Third Quartile 0.2929
Interquartile range 0.2702 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2038
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2141 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6843
Mean With No Outliers 0.1901 10
Std With No Outliers 0.1930
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries NOST_OMTDN07
0.8
401-AH 18.07 426-AH 17.88 0.6
402-AH 29.15 427-AH 1.78 0.4
403-AH 5.45 428-AH 21.94 0.2
Difference
404-AH 10.00 429-AH 5.59 0
405-AH 16.39 430-AH 61.82 −0.2
−0.4
406-AH 0.13 431-AH 37.21
−0.6
407-AH 0.44 432-AH 1.87
−0.8
408-AH 9.83 433-AH 68.43
−1
409-AH 6.54 434-AH 25.13 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 26.20 435-AH 28.16
411-AH 4.33 436-AH 11.01
412-AH 0.04 437-AH 27.81 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
NOST_OMTDN07
413-AH 13.39 438-AH 36.56 0.8
414-AH 1.18 439-AH 2.62 0.6
415-AH 0.07 440-AH 32.44 0.4
416-AH 55.22 441-AH 0.00 0.2
Difference
417-AH 2.27 442-AH 46.49 0
418-AH 65.39 443-AH 22.14 −0.2
−0.4
419-AH 29.29 444-AH 27.88
−0.6
420-AH 48.64 445-AH 17.12
−0.8
421-AH 45.77 446-AH 0.58
−1
422-AH 4.86 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 33.33 448-AH 1.03
424-AH 0.11 449-AH 5.37
425-AH 4.64 450-AH 0.09
530
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.NOST_OMTDN07 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 34.00 NOST_OMTDN07
10 docs 31.40 90%
15 docs 28.53
80%
20 docs 26.00
30 docs 22.40 70%
100 docs 12.78
60%
200 docs 8.97
Precision
500 docs 4.94 50%
1000 docs 2.88 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.17
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2009
Third Quartile 0.3404
Interquartile range 0.3404 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2217
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2074 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.2217
Std With No Outliers 0.2074 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries NOST_OMTDN07
0.8
401-AH 33.33 426-AH 26.29 0.6
402-AH 32.26 427-AH 0.00 0.4
403-AH 17.39 428-AH 36.36 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 23.81 430-AH 54.84 −0.2
−0.4
406-AH 0.00 431-AH 50.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 22.22 433-AH 63.53
−1
409-AH 15.79 434-AH 27.93 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 34.04 435-AH 34.21
411-AH 10.00 436-AH 17.95
412-AH 0.00 437-AH 35.50 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
NOST_OMTDN07
413-AH 13.33 438-AH 40.00 0.8
414-AH 0.00 439-AH 11.54 0.6
415-AH 0.00 440-AH 33.33 0.4
416-AH 57.58 441-AH 0.00 0.2
Difference
417-AH 9.47 442-AH 41.67 0
418-AH 64.29 443-AH 28.57 −0.2
−0.4
419-AH 30.43 444-AH 24.00
−0.6
420-AH 43.48 445-AH 25.00
−0.8
421-AH 33.33 446-AH 0.00
−1
422-AH 14.71 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 9.38
425-AH 8.11 450-AH 0.00
531
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.OMT07 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Oromo
Relevant 2,247 Topic Fields title
Relevant retrieved 1,554 Pooled false
Geometric Mean Average Precision 0.1427 Oromo-English Title Run
Binary Preference (BPREF) 0.2635
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 60.00 OMT07
10 45.15 90%
20 39.08
80%
30 31.53
40 26.93 70%
50 23.86
60%
60 18.96
Precision
70 15.84 50%
80 11.62 40%
90 7.40
30%
100 4.06
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
24.20 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0030
First Quartile 0.0743
Second Quartile 0.1967
Third Quartile 0.3535
Interquartile range 0.2792 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2420
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2155 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0030 8
Upper Outlier Threshold 0.7369
6
Mean With No Outliers 0.2270
4
Std With No Outliers 0.1896
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OMT07
0.8
401-AH 16.80 426-AH 16.36 0.6
402-AH 62.62 427-AH 25.95 0.4
403-AH 2.85 428-AH 4.19 0.2
Difference
404-AH 16.67 429-AH 0.30 0
405-AH 19.33 430-AH 8.01 −0.2
−0.4
406-AH 8.97 431-AH 20.95
−0.6
407-AH 35.35 432-AH 28.60
−0.8
408-AH 27.65 433-AH 73.69
−1
409-AH 44.25 434-AH 65.30 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 38.18 435-AH 7.43
411-AH 0.91 436-AH 2.07
412-AH 5.04 437-AH 25.68 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OMT07
413-AH 12.21 438-AH 12.93 0.8
414-AH 2.57 439-AH 6.36 0.6
415-AH 16.45 440-AH 23.44 0.4
416-AH 54.27 441-AH 22.04 0.2
Difference
417-AH 4.62 442-AH 33.74 0
418-AH 62.09 443-AH 10.20 −0.2
−0.4
419-AH 47.67 444-AH 23.48
−0.6
420-AH 45.29 445-AH 37.08
−0.8
421-AH 24.58 446-AH 23.91
−1
422-AH 13.27 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 38.75
424-AH 1.15 449-AH 5.92
425-AH 11.53 450-AH 1.62
532
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.OMT07 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 39.20 OMT07
10 docs 33.80 90%
15 docs 30.40
80%
20 docs 28.80
30 docs 25.07 70%
100 docs 15.32
60%
200 docs 10.14
Precision
500 docs 5.44 50%
1000 docs 3.11 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
26.24
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1014
Second Quartile 0.2450
Third Quartile 0.3478
Interquartile range 0.2464 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2624
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2030 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.7020 5
Mean With No Outliers 0.2508 4
3
Std With No Outliers 0.1875
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OMT07
0.8
401-AH 33.33 426-AH 22.54 0.6
402-AH 59.68 427-AH 31.25 0.4
403-AH 10.14 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 28.57 430-AH 12.90 −0.2
−0.4
406-AH 14.29 431-AH 25.00
−0.6
407-AH 34.78 432-AH 33.33
−0.8
408-AH 38.89 433-AH 70.20
−1
409-AH 47.37 434-AH 62.16 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 44.68 435-AH 17.54
411-AH 0.00 436-AH 6.41
412-AH 3.70 437-AH 36.09 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OMT07
413-AH 13.33 438-AH 13.33 0.8
414-AH 0.00 439-AH 12.82 0.6
415-AH 19.72 440-AH 33.33 0.4
416-AH 54.55 441-AH 22.22 0.2
Difference
417-AH 13.68 442-AH 33.33 0
418-AH 64.29 443-AH 26.19 −0.2
−0.4
419-AH 56.52 444-AH 24.00
−0.6
420-AH 43.48 445-AH 25.00
−0.8
421-AH 33.33 446-AH 25.00
−1
422-AH 23.53 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 9.38
425-AH 8.11 450-AH 6.67
533
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.OMTD07 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Oromo
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,707 Pooled true
Geometric Mean Average Precision 0.2020 Oromo-English Title and Description Run
Binary Preference (BPREF) 0.3027
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 73.88 OMTD07
10 56.61 90%
20 50.35
80%
30 38.72
40 32.94 70%
50 28.24
60%
60 22.54
Precision
70 18.56 50%
80 13.81 40%
90 8.26
30%
100 4.33
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.91 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0089
First Quartile 0.1162
Second Quartile 0.2668
Third Quartile 0.4444
Interquartile range 0.3282 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2991
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2260 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0089
6
Upper Outlier Threshold 0.7441 5
Mean With No Outliers 0.2853 4
3
Std With No Outliers 0.2059
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OMTD07
0.8
401-AH 32.76 426-AH 18.90 0.6
402-AH 59.53 427-AH 23.11 0.4
403-AH 14.40 428-AH 29.15 0.2
Difference
404-AH 9.09 429-AH 3.30 0
405-AH 28.25 430-AH 53.40 −0.2
−0.4
406-AH 13.40 431-AH 15.08
−0.6
407-AH 39.10 432-AH 31.12
−0.8
408-AH 27.25 433-AH 74.41
−1
409-AH 48.40 434-AH 65.63 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 46.71 435-AH 67.95
411-AH 5.16 436-AH 3.58
412-AH 5.04 437-AH 38.26 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OMTD07
413-AH 12.74 438-AH 33.20 0.8
414-AH 11.62 439-AH 4.78 0.6
415-AH 24.91 440-AH 24.26 0.4
416-AH 69.96 441-AH 5.29 0.2
Difference
417-AH 7.38 442-AH 46.13 0
418-AH 66.44 443-AH 9.04 −0.2
−0.4
419-AH 44.44 444-AH 32.98
−0.6
420-AH 54.48 445-AH 33.92
−0.8
421-AH 18.30 446-AH 35.90
−1
422-AH 15.26 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.00 448-AH 33.62
424-AH 0.89 449-AH 6.36
425-AH 26.10 450-AH 1.82
534
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.OMTD07 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 49.60 OMTD07
10 docs 42.00 90%
15 docs 37.20
80%
20 docs 34.70
30 docs 31.00 70%
100 docs 18.16
60%
200 docs 11.59
Precision
500 docs 6.04 50%
1000 docs 3.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
30.63
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1333
Second Quartile 0.2789
Third Quartile 0.4211
Interquartile range 0.2877 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3063
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2004 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3063
4
Std With No Outliers 0.2004
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OMTD07
0.8
401-AH 33.33 426-AH 26.76 0.6
402-AH 59.68 427-AH 12.50 0.4
403-AH 18.84 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 10.17 0
405-AH 33.33 430-AH 54.84 −0.2
−0.4
406-AH 19.05 431-AH 30.00
−0.6
407-AH 43.48 432-AH 37.50
−0.8
408-AH 33.33 433-AH 67.45
−1
409-AH 42.11 434-AH 62.16 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 48.94 435-AH 60.53
411-AH 0.00 436-AH 10.26
412-AH 3.70 437-AH 40.24 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OMTD07
413-AH 13.33 438-AH 43.33 0.8
414-AH 25.00 439-AH 11.54 0.6
415-AH 29.58 440-AH 27.78 0.4
416-AH 66.67 441-AH 11.11 0.2
Difference
417-AH 18.95 442-AH 33.33 0
418-AH 64.29 443-AH 21.43 −0.2
−0.4
419-AH 39.13 444-AH 28.00
−0.6
420-AH 47.83 445-AH 25.00
−0.8
421-AH 25.00 446-AH 41.67
−1
422-AH 24.51 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 9.38
425-AH 32.43 450-AH 8.33
535
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.OMTDN07 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Oromo
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,693 Pooled false
Geometric Mean Average Precision 0.1967 Oromo-English Title, Description and Narration Run
Binary Preference (BPREF) 0.2987
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 72.79 OMTDN07
10 58.25 90%
20 49.57
80%
30 38.82
40 31.40 70%
50 27.81
60%
60 21.53
Precision
70 16.95 50%
80 12.18 40%
90 7.45
30%
100 3.70
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
28.94 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8734
Minimum 0.0070
First Quartile 0.1403
Second Quartile 0.2560
Third Quartile 0.3497
Interquartile range 0.2094 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2894
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2145 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0070
Upper Outlier Threshold 0.6415 10
Mean With No Outliers 0.2400
Std With No Outliers 0.1602 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries OMTDN07
0.8
401-AH 19.61 426-AH 20.91 0.6
402-AH 58.32 427-AH 20.99 0.4
403-AH 9.01 428-AH 24.54 0.2
Difference
404-AH 16.67 429-AH 4.72 0
405-AH 26.20 430-AH 51.66 −0.2
−0.4
406-AH 15.89 431-AH 10.73
−0.6
407-AH 40.78 432-AH 30.81
−0.8
408-AH 34.21 433-AH 75.33
−1
409-AH 34.97 434-AH 68.74 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 30.60 435-AH 66.91
411-AH 3.71 436-AH 6.88
412-AH 5.29 437-AH 34.38 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
OMTDN07
413-AH 14.03 438-AH 31.67 0.8
414-AH 4.64 439-AH 4.67 0.6
415-AH 18.09 440-AH 30.72 0.4
416-AH 68.52 441-AH 20.35 0.2
Difference
417-AH 5.82 442-AH 41.42 0
418-AH 64.15 443-AH 16.35 −0.2
−0.4
419-AH 33.61 444-AH 30.02
−0.6
420-AH 50.74 445-AH 34.15
−0.8
421-AH 50.29 446-AH 34.74
−1
422-AH 16.47 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 25.00 448-AH 27.86
424-AH 0.70 449-AH 2.77
425-AH 19.48 450-AH 1.48
536
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.OMTDN07 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 48.40 OMTDN07
10 docs 43.20 90%
15 docs 36.93
80%
20 docs 33.80
30 docs 29.47 70%
100 docs 17.56
60%
200 docs 11.51
Precision
500 docs 5.92 50%
1000 docs 3.39 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
29.73
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1594
Second Quartile 0.2796
Third Quartile 0.3889
Interquartile range 0.2295 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2973
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2006 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.6824 5
Mean With No Outliers 0.2863 4
3
Std With No Outliers 0.1870
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries OMTDN07
0.8
401-AH 33.33 426-AH 28.64 0.6
402-AH 59.68 427-AH 18.75 0.4
403-AH 15.94 428-AH 27.27 0.2
Difference
404-AH 0.00 429-AH 8.47 0
405-AH 33.33 430-AH 48.39 −0.2
−0.4
406-AH 19.05 431-AH 20.00
−0.6
407-AH 39.13 432-AH 37.50
−0.8
408-AH 38.89 433-AH 68.24
−1
409-AH 31.58 434-AH 63.96 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 29.79 435-AH 64.91
411-AH 0.00 436-AH 15.38
412-AH 3.70 437-AH 37.87 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
OMTDN07
413-AH 13.33 438-AH 33.33 0.8
414-AH 0.00 439-AH 12.82 0.6
415-AH 25.35 440-AH 33.33 0.4
416-AH 63.64 441-AH 22.22 0.2
Difference
417-AH 18.95 442-AH 33.33 0
418-AH 64.29 443-AH 30.95 −0.2
−0.4
419-AH 34.78 444-AH 24.00
−0.6
420-AH 43.48 445-AH 25.00
−0.8
421-AH 50.00 446-AH 41.67
−1
422-AH 26.47 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 4.69
425-AH 24.32 450-AH 8.33
537
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.TETD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Telugu
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,275 Pooled false
Geometric Mean Average Precision 0.0834 Telugu English Run
Binary Preference (BPREF) 0.2868
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.98 TETD
10 41.54 90%
20 36.78
80%
30 29.95
40 26.74 70%
50 22.13
60%
60 15.89
Precision
70 12.87 50%
80 7.73 40%
90 4.04
30%
100 2.30
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.55 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8394
Minimum 0.0000
First Quartile 0.0449
Second Quartile 0.1745
Third Quartile 0.3857
Interquartile range 0.3408 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2155
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2008 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8394 10
Mean With No Outliers 0.2155
Std With No Outliers 0.2008 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries TETD
0.8
401-AH 17.86 426-AH 1.08 0.6
402-AH 38.57 427-AH 0.00 0.4
403-AH 5.54 428-AH 11.80 0.2
Difference
404-AH 10.00 429-AH 2.45 0
405-AH 30.57 430-AH 25.46 −0.2
−0.4
406-AH 17.04 431-AH 0.05
−0.6
407-AH 24.10 432-AH 24.81
−0.8
408-AH 42.06 433-AH 39.24
−1
409-AH 51.03 434-AH 0.31 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 54.22 435-AH 26.01
411-AH 4.49 436-AH 22.71
412-AH 6.88 437-AH 12.11 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
TETD
413-AH 23.70 438-AH 11.70 0.8
414-AH 38.33 439-AH 5.32 0.6
415-AH 6.37 440-AH 25.08 0.4
416-AH 0.38 441-AH 57.99 0.2
Difference
417-AH 2.66 442-AH 0.96 0
418-AH 23.35 443-AH 43.72 −0.2
−0.4
419-AH 43.09 444-AH 4.72
−0.6
420-AH 42.89 445-AH 50.23
−0.8
421-AH 83.94 446-AH 23.15
−1
422-AH 2.29 447-AH 45.27 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.12 448-AH 53.45
424-AH 8.34 449-AH 2.75
425-AH 1.51 450-AH 7.96
538
hyderabad 10.2415/AH-BILI-X2EN-CLEF2007.HYDERABAD.TETD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 34.80 TETD
10 docs 30.60 90%
15 docs 27.20
80%
20 docs 24.50
30 docs 21.27 70%
100 docs 11.64
60%
200 docs 7.73
Precision
500 docs 4.29 50%
1000 docs 2.55 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
24.67
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0526
Second Quartile 0.2314
Third Quartile 0.4035
Interquartile range 0.3509 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2467
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2071 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.2467
Std With No Outliers 0.2071 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries TETD
0.8
401-AH 33.33 426-AH 3.76 0.6
402-AH 46.77 427-AH 0.00 0.4
403-AH 11.59 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 5.08 0
405-AH 33.33 430-AH 29.03 −0.2
−0.4
406-AH 19.05 431-AH 0.00
−0.6
407-AH 30.43 432-AH 33.33
−0.8
408-AH 38.89 433-AH 45.88
−1
409-AH 63.16 434-AH 3.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 53.19 435-AH 40.35
411-AH 0.00 436-AH 25.64
412-AH 7.41 437-AH 24.85 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
TETD
413-AH 40.00 438-AH 16.67 0.8
414-AH 25.00 439-AH 8.97 0.6
415-AH 9.86 440-AH 33.33 0.4
416-AH 0.00 441-AH 55.56 0.2
Difference
417-AH 5.26 442-AH 0.00 0
418-AH 21.43 443-AH 47.62 −0.2
−0.4
419-AH 47.83 444-AH 4.00
−0.6
420-AH 47.83 445-AH 50.00
−0.8
421-AH 83.33 446-AH 25.00
−1
422-AH 7.84 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 50.00
424-AH 20.00 449-AH 1.56
425-AH 5.41 450-AH 10.00
539
jadavpur 10.2415/AH-BILI-X2EN-CLEF2007.JADAVPUR.AHBILIBN2ENR1 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bengali
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,021 Pooled false
Geometric Mean Average Precision 0.0289 Adhoc Bilingual Bengali to English Run1
Binary Preference (BPREF) 0.1272
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 35.32 AHBILIBN2ENR1
10 25.24 90%
20 18.94
80%
30 14.07
40 11.85 70%
50 7.87
60%
60 6.05
Precision
70 3.37 50%
80 2.05 40%
90 0.40
30%
100 0.20
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
10.18 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6792
Minimum 0.0001
First Quartile 0.0059
Second Quartile 0.0473
Third Quartile 0.1509
Interquartile range 0.1450 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1018
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1331 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001 25
Upper Outlier Threshold 0.3643 20
Mean With No Outliers 0.0827 15
Std With No Outliers 0.0925 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries AHBILIBN2ENR1
0.8
401-AH 17.88 426-AH 0.24 0.6
402-AH 15.17 427-AH 17.27 0.4
403-AH 0.34 428-AH 1.70 0.2
Difference
404-AH 2.04 429-AH 0.19 0
405-AH 13.35 430-AH 1.96 −0.2
−0.4
406-AH 0.68 431-AH 0.64
−0.6
407-AH 2.97 432-AH 15.09
−0.8
408-AH 27.83 433-AH 14.81
−1
409-AH 7.21 434-AH 36.43 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.06 435-AH 21.94
411-AH 0.39 436-AH 0.22
412-AH 1.17 437-AH 13.46 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
AHBILIBN2ENR1
413-AH 12.22 438-AH 10.77 0.8
414-AH 1.07 439-AH 3.38 0.6
415-AH 0.42 440-AH 0.20 0.4
416-AH 10.67 441-AH 6.66 0.2
Difference
417-AH 0.08 442-AH 17.89 0
418-AH 4.81 443-AH 27.27 −0.2
−0.4
419-AH 11.70 444-AH 14.35
−0.6
420-AH 0.42 445-AH 26.78
−0.8
421-AH 44.12 446-AH 15.45
−1
422-AH 0.81 447-AH 67.92 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.41 448-AH 12.09
424-AH 0.59 449-AH 4.66
425-AH 1.29 450-AH 0.01
540
jadavpur 10.2415/AH-BILI-X2EN-CLEF2007.JADAVPUR.AHBILIBN2ENR1 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 15.20 AHBILIBN2ENR1
10 docs 14.00 90%
15 docs 12.93
80%
20 docs 12.80
30 docs 11.93 70%
100 docs 7.28
60%
200 docs 4.76
Precision
500 docs 3.10 50%
1000 docs 2.04 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
12.49
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0774
Third Quartile 0.2071
Interquartile range 0.2071 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1249
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1458 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4414
15
Mean With No Outliers 0.1138
10
Std With No Outliers 0.1243
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries AHBILIBN2ENR1
0.8
401-AH 16.67 426-AH 2.82 0.6
402-AH 17.74 427-AH 18.75 0.4
403-AH 1.45 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 23.81 430-AH 6.45 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 20.83
−0.8
408-AH 27.78 433-AH 23.92
−1
409-AH 5.26 434-AH 44.14 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.00 435-AH 35.09
411-AH 0.00 436-AH 2.56
412-AH 0.00 437-AH 20.71 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
AHBILIBN2ENR1
413-AH 20.00 438-AH 13.33 0.8
414-AH 0.00 439-AH 14.10 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 21.21 441-AH 11.11 0.2
Difference
417-AH 1.05 442-AH 16.67 0
418-AH 7.14 443-AH 38.10 −0.2
−0.4
419-AH 13.04 444-AH 28.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 41.67 446-AH 8.33
−1
422-AH 3.92 447-AH 66.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 12.50
425-AH 2.70 450-AH 0.00
541
jadavpur 10.2415/AH-BILI-X2EN-CLEF2007.JADAVPUR.AHBILIHI2ENR1 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,101 Pooled false
Geometric Mean Average Precision 0.0278 Adhoc Bilingual Hindi to English Run1
Binary Preference (BPREF) 0.1344
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 39.79 AHBILIHI2ENR1
10 27.32 90%
20 20.97
80%
30 14.61
40 11.50 70%
50 8.08
60%
60 6.32
Precision
70 4.05 50%
80 2.31 40%
90 0.97
30%
100 0.60
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
10.86 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6546
Minimum 0.0000
First Quartile 0.0073
Second Quartile 0.0439
Third Quartile 0.1563
Interquartile range 0.1490 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1086
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1372 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.3662 20
Mean With No Outliers 0.0904 15
Std With No Outliers 0.1033 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries AHBILIHI2ENR1
0.8
401-AH 15.63 426-AH 0.73 0.6
402-AH 16.57 427-AH 31.37 0.4
403-AH 0.67 428-AH 1.78 0.2
Difference
404-AH 1.96 429-AH 0.19 0
405-AH 16.09 430-AH 2.66 −0.2
−0.4
406-AH 1.91 431-AH 0.02
−0.6
407-AH 4.26 432-AH 14.47
−0.8
408-AH 30.27 433-AH 32.46
−1
409-AH 12.90 434-AH 36.62 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.49 435-AH 24.22
411-AH 0.18 436-AH 0.03
412-AH 0.81 437-AH 22.76 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
AHBILIHI2ENR1
413-AH 11.74 438-AH 11.42 0.8
414-AH 1.48 439-AH 3.79 0.6
415-AH 0.68 440-AH 1.48 0.4
416-AH 5.86 441-AH 7.87 0.2
Difference
417-AH 4.51 442-AH 22.01 0
418-AH 0.06 443-AH 13.04 −0.2
−0.4
419-AH 11.70 444-AH 13.36
−0.6
420-AH 0.45 445-AH 25.75
−0.8
421-AH 43.63 446-AH 7.63
−1
422-AH 1.59 447-AH 65.46 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 15.36
424-AH 0.60 449-AH 2.06
425-AH 2.49 450-AH 0.01
542
jadavpur 10.2415/AH-BILI-X2EN-CLEF2007.JADAVPUR.AHBILIHI2ENR1 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 18.80 AHBILIHI2ENR1
10 docs 16.40 90%
15 docs 14.67
80%
20 docs 14.20
30 docs 13.20 70%
100 docs 8.10
60%
200 docs 5.35
Precision
500 docs 3.34 50%
1000 docs 2.20 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
13.71
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0945
Third Quartile 0.2381
Interquartile range 0.2381 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1371
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1446 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.5000
Mean With No Outliers 0.1371 10
Std With No Outliers 0.1446
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries AHBILIHI2ENR1
0.8
401-AH 16.67 426-AH 1.88 0.6
402-AH 22.58 427-AH 31.25 0.4
403-AH 1.45 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 23.81 430-AH 3.23 −0.2
−0.4
406-AH 14.29 431-AH 0.00
−0.6
407-AH 8.70 432-AH 29.17
−0.8
408-AH 38.89 433-AH 42.75
−1
409-AH 21.05 434-AH 44.14 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.00 435-AH 36.84
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 23.08 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
AHBILIHI2ENR1
413-AH 26.67 438-AH 13.33 0.8
414-AH 0.00 439-AH 14.10 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 6.06 441-AH 22.22 0.2
Difference
417-AH 12.63 442-AH 16.67 0
418-AH 0.00 443-AH 23.81 −0.2
−0.4
419-AH 13.04 444-AH 24.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 41.67 446-AH 8.33
−1
422-AH 9.80 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 7.81
425-AH 0.00 450-AH 0.00
543
jadavpur 10.2415/AH-BILI-X2EN-CLEF2007.JADAVPUR.AHBILITE2ENR1 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction MANUAL
Retrieved 50,000 Source Language Telugu
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,185 Pooled true
Geometric Mean Average Precision 0.0276 Adhoc Bilingual Telugu to English Run1
Binary Preference (BPREF) 0.1295
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 42.62 AHBILITE2ENR1
10 28.98 90%
20 19.05
80%
30 14.07
40 11.37 70%
50 9.01
60%
60 6.51
Precision
70 4.66 50%
80 2.42 40%
90 1.66
30%
100 0.83
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
11.28 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5304
Minimum 0.0000
First Quartile 0.0127
Second Quartile 0.0638
Third Quartile 0.1844
Interquartile range 0.1718 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1128
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1269 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.4407
15
Mean With No Outliers 0.1043
10
Std With No Outliers 0.1129
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries AHBILITE2ENR1
0.8
401-AH 22.91 426-AH 1.62 0.6
402-AH 12.58 427-AH 21.44 0.4
403-AH 0.01 428-AH 5.48 0.2
Difference
404-AH 3.45 429-AH 0.05 0
405-AH 25.12 430-AH 2.50 −0.2
−0.4
406-AH 2.79 431-AH 0.00
−0.6
407-AH 7.03 432-AH 14.26
−0.8
408-AH 34.58 433-AH 28.63
−1
409-AH 8.96 434-AH 44.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 1.27 435-AH 27.17
411-AH 0.37 436-AH 0.04
412-AH 0.84 437-AH 21.62 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
AHBILITE2ENR1
413-AH 12.78 438-AH 10.99 0.8
414-AH 5.27 439-AH 3.45 0.6
415-AH 0.15 440-AH 0.03 0.4
416-AH 17.59 441-AH 18.44 0.2
Difference
417-AH 9.94 442-AH 22.24 0
418-AH 4.75 443-AH 9.69 −0.2
−0.4
419-AH 0.00 444-AH 5.72
−0.6
420-AH 0.53 445-AH 26.51
−0.8
421-AH 35.29 446-AH 8.32
−1
422-AH 0.12 447-AH 53.04 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 2.17 448-AH 16.22
424-AH 0.46 449-AH 1.35
425-AH 1.96 450-AH 10.34
544
jadavpur 10.2415/AH-BILI-X2EN-CLEF2007.JADAVPUR.AHBILITE2ENR1 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 19.60 AHBILITE2ENR1
10 docs 14.20 90%
15 docs 14.93
80%
20 docs 14.30
30 docs 13.13 70%
100 docs 7.90
60%
200 docs 5.61
Precision
500 docs 3.53 50%
1000 docs 2.37 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
13.92
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5000
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1083
Third Quartile 0.2249
Interquartile range 0.2249 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1392
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1406 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.5000
Mean With No Outliers 0.1392 10
Std With No Outliers 0.1406
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries AHBILITE2ENR1
0.8
401-AH 16.67 426-AH 5.63 0.6
402-AH 16.13 427-AH 31.25 0.4
403-AH 0.00 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 28.57 430-AH 3.23 −0.2
−0.4
406-AH 14.29 431-AH 0.00
−0.6
407-AH 8.70 432-AH 29.17
−0.8
408-AH 38.89 433-AH 40.39
−1
409-AH 15.79 434-AH 49.55 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 0.00 435-AH 28.95
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 22.49 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
AHBILITE2ENR1
413-AH 33.33 438-AH 10.00 0.8
414-AH 0.00 439-AH 14.10 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 18.18 441-AH 22.22 0.2
Difference
417-AH 17.89 442-AH 16.67 0
418-AH 7.14 443-AH 19.05 −0.2
−0.4
419-AH 0.00 444-AH 16.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 33.33 446-AH 8.33
−1
422-AH 0.98 447-AH 50.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 3.12
425-AH 5.41 450-AH 11.67
545
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTD4 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,674 Pooled true
Geometric Mean Average Precision 0.0951 4-grams. MT.
Binary Preference (BPREF) 0.3240
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 62.30 APLBIIDENTD4
10 55.22 90%
20 47.94
80%
30 42.51
40 38.27 70%
50 34.51
60%
60 28.02
Precision
70 23.71 50%
80 20.00 40%
90 15.48
30%
100 9.51
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.16 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0001
First Quartile 0.0415
Second Quartile 0.3076
Third Quartile 0.5645
Interquartile range 0.5229 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3316
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2829 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001
Upper Outlier Threshold 0.9762 10
Mean With No Outliers 0.3316
Std With No Outliers 0.2829 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTD4
0.8
401-AH 23.45 426-AH 17.91 0.6
402-AH 56.45 427-AH 46.16 0.4
403-AH 4.15 428-AH 21.66 0.2
Difference
404-AH 0.32 429-AH 6.15 0
405-AH 64.97 430-AH 59.67 −0.2
−0.4
406-AH 9.37 431-AH 0.23
−0.6
407-AH 52.90 432-AH 41.72
−0.8
408-AH 38.66 433-AH 69.96
−1
409-AH 28.49 434-AH 89.82 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 63.21 435-AH 69.92
411-AH 7.99 436-AH 31.52
412-AH 0.10 437-AH 32.22 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTD4
413-AH 28.86 438-AH 29.99 0.8
414-AH 81.25 439-AH 1.40 0.6
415-AH 0.03 440-AH 0.01 0.4
416-AH 49.79 441-AH 33.07 0.2
Difference
417-AH 7.34 442-AH 45.44 0
418-AH 67.15 443-AH 36.98 −0.2
−0.4
419-AH 75.00 444-AH 27.88
−0.6
420-AH 46.11 445-AH 0.03
−0.8
421-AH 75.00 446-AH 0.32
−1
422-AH 0.35 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 4.00 448-AH 42.75
424-AH 1.49 449-AH 56.99
425-AH 12.31 450-AH 0.01
546
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTD4 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 46.00 APLBIIDENTD4
10 docs 40.20 90%
15 docs 37.20
80%
20 docs 34.60
30 docs 30.47 70%
100 docs 18.04
60%
200 docs 11.68
Precision
500 docs 5.96 50%
1000 docs 3.35 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.65
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8829
Minimum 0.0000
First Quartile 0.1000
Second Quartile 0.3246
Third Quartile 0.5161
Interquartile range 0.4161 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3265
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2564 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8829 10
Mean With No Outliers 0.3265
Std With No Outliers 0.2564 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTD4
0.8
401-AH 16.67 426-AH 28.64 0.6
402-AH 51.61 427-AH 31.25 0.4
403-AH 11.59 428-AH 18.18 0.2
Difference
404-AH 0.00 429-AH 11.86 0
405-AH 66.67 430-AH 51.61 −0.2
−0.4
406-AH 28.57 431-AH 0.00
−0.6
407-AH 56.52 432-AH 33.33
−0.8
408-AH 33.33 433-AH 63.92
−1
409-AH 31.58 434-AH 88.29 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 66.67
411-AH 10.00 436-AH 37.18
412-AH 0.00 437-AH 38.46 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTD4
413-AH 33.33 438-AH 46.67 0.8
414-AH 75.00 439-AH 5.13 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 45.45 441-AH 33.33 0.2
Difference
417-AH 14.74 442-AH 50.00 0
418-AH 57.14 443-AH 26.19 −0.2
−0.4
419-AH 65.22 444-AH 36.00
−0.6
420-AH 50.00 445-AH 0.00
−0.8
421-AH 58.33 446-AH 0.00
−1
422-AH 1.96 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 57.81
425-AH 21.62 450-AH 0.00
547
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTD5 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,709 Pooled false
Geometric Mean Average Precision 0.1119 5-grams. MT.
Binary Preference (BPREF) 0.3342
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 64.03 APLBIIDENTD5
10 53.53 90%
20 47.16
80%
30 40.88
40 37.32 70%
50 33.14
60%
60 28.09
Precision
70 24.82 50%
80 21.07 40%
90 17.10
30%
100 10.89
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.09 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0002
First Quartile 0.0364
Second Quartile 0.2998
Third Quartile 0.5581
Interquartile range 0.5218 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3309
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2913 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0002
Upper Outlier Threshold 0.9762 10
Mean With No Outliers 0.3309
Std With No Outliers 0.2913 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTD5
0.8
401-AH 20.56 426-AH 17.77 0.6
402-AH 52.18 427-AH 40.22 0.4
403-AH 5.74 428-AH 8.78 0.2
Difference
404-AH 0.22 429-AH 11.65 0
405-AH 61.83 430-AH 55.81 −0.2
−0.4
406-AH 3.64 431-AH 1.07
−0.6
407-AH 79.92 432-AH 37.25
−0.8
408-AH 45.12 433-AH 65.59
−1
409-AH 35.92 434-AH 93.35 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 60.23 435-AH 66.20
411-AH 5.89 436-AH 29.87
412-AH 0.51 437-AH 39.90 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTD5
413-AH 28.15 438-AH 24.99 0.8
414-AH 83.04 439-AH 6.06 0.6
415-AH 0.10 440-AH 0.02 0.4
416-AH 59.23 441-AH 49.38 0.2
Difference
417-AH 1.50 442-AH 39.75 0
418-AH 72.63 443-AH 51.80 −0.2
−0.4
419-AH 67.28 444-AH 24.42
−0.6
420-AH 45.12 445-AH 2.98
−0.8
421-AH 81.59 446-AH 0.33
−1
422-AH 1.38 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.98 448-AH 30.10
424-AH 0.60 449-AH 34.09
425-AH 12.24 450-AH 0.02
548
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTD5 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 46.40 APLBIIDENTD5
10 docs 39.80 90%
15 docs 36.40
80%
20 docs 33.30
30 docs 30.00 70%
100 docs 18.04
60%
200 docs 11.73
Precision
500 docs 6.00 50%
1000 docs 3.42 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.59
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.9009
Minimum 0.0000
First Quartile 0.0784
Second Quartile 0.3269
Third Quartile 0.5238
Interquartile range 0.4454 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3259
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2651 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9009 10
Mean With No Outliers 0.3259
Std With No Outliers 0.2651 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTD5
0.8
401-AH 16.67 426-AH 28.17 0.6
402-AH 46.77 427-AH 31.25 0.4
403-AH 14.49 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 13.56 0
405-AH 52.38 430-AH 48.39 −0.2
−0.4
406-AH 9.52 431-AH 0.00
−0.6
407-AH 73.91 432-AH 41.67
−0.8
408-AH 27.78 433-AH 60.78
−1
409-AH 36.84 434-AH 90.09 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 61.40
411-AH 0.00 436-AH 32.05
412-AH 0.00 437-AH 43.20 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTD5
413-AH 33.33 438-AH 36.67 0.8
414-AH 75.00 439-AH 11.54 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 60.61 441-AH 55.56 0.2
Difference
417-AH 6.32 442-AH 41.67 0
418-AH 64.29 443-AH 45.24 −0.2
−0.4
419-AH 56.52 444-AH 36.00
−0.6
420-AH 50.00 445-AH 0.00
−0.8
421-AH 75.00 446-AH 0.00
−1
422-AH 7.84 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 35.94
425-AH 21.62 450-AH 0.00
549
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTDS AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,803 Pooled false
Geometric Mean Average Precision 0.1619 Snowball. MT.
Binary Preference (BPREF) 0.3357
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 62.04 APLBIIDENTDS
10 52.84 90%
20 46.41
80%
30 42.75
40 38.39 70%
50 34.70
60%
60 29.61
Precision
70 26.46 50%
80 21.85 40%
90 17.08
30%
100 11.18
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.24 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0001
First Quartile 0.0846
Second Quartile 0.2394
Third Quartile 0.5617
Interquartile range 0.4771 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3324
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2775 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001 8
Upper Outlier Threshold 0.9762
6
Mean With No Outliers 0.3324
4
Std With No Outliers 0.2775
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTDS
0.8
401-AH 16.20 426-AH 8.48 0.6
402-AH 65.66 427-AH 21.52 0.4
403-AH 7.60 428-AH 4.37 0.2
Difference
404-AH 3.33 429-AH 12.70 0
405-AH 60.12 430-AH 53.89 −0.2
−0.4
406-AH 0.20 431-AH 20.75
−0.6
407-AH 61.22 432-AH 30.21
−0.8
408-AH 35.34 433-AH 69.59
−1
409-AH 26.36 434-AH 91.52 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.93 435-AH 69.56
411-AH 8.60 436-AH 18.14
412-AH 3.49 437-AH 77.64 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTDS
413-AH 36.09 438-AH 13.29 0.8
414-AH 38.10 439-AH 8.46 0.6
415-AH 12.56 440-AH 0.38 0.4
416-AH 59.38 441-AH 38.65 0.2
Difference
417-AH 7.48 442-AH 55.14 0
418-AH 53.06 443-AH 56.17 −0.2
−0.4
419-AH 74.96 444-AH 19.73
−0.6
420-AH 53.90 445-AH 32.97
−0.8
421-AH 69.50 446-AH 1.36
−1
422-AH 4.43 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 6.67 448-AH 18.25
424-AH 3.07 449-AH 43.64
425-AH 17.67 450-AH 0.01
550
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTDS AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 41.20 APLBIIDENTDS
10 docs 40.20 90%
15 docs 36.67
80%
20 docs 34.80
30 docs 32.53 70%
100 docs 19.96
60%
200 docs 13.08
Precision
500 docs 6.55 50%
1000 docs 3.61 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.91
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8559
Minimum 0.0000
First Quartile 0.1275
Second Quartile 0.3079
Third Quartile 0.5238
Interquartile range 0.3964 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3291
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2539 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8559 10
Mean With No Outliers 0.3291
Std With No Outliers 0.2539 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTDS
0.8
401-AH 33.33 426-AH 20.19 0.6
402-AH 59.68 427-AH 25.00 0.4
403-AH 15.94 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 18.64 0
405-AH 52.38 430-AH 51.61 −0.2
−0.4
406-AH 0.00 431-AH 30.00
−0.6
407-AH 60.87 432-AH 33.33
−0.8
408-AH 33.33 433-AH 63.92
−1
409-AH 31.58 434-AH 85.59 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 62.28
411-AH 0.00 436-AH 17.95
412-AH 3.70 437-AH 71.01 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTDS
413-AH 33.33 438-AH 0.00 0.8
414-AH 50.00 439-AH 16.67 0.6
415-AH 28.17 440-AH 0.00 0.4
416-AH 54.55 441-AH 33.33 0.2
Difference
417-AH 16.84 442-AH 50.00 0
418-AH 50.00 443-AH 52.38 −0.2
−0.4
419-AH 69.57 444-AH 24.00
−0.6
420-AH 56.52 445-AH 25.00
−0.8
421-AH 66.67 446-AH 0.00
−1
422-AH 12.75 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 48.44
425-AH 24.32 450-AH 0.00
551
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTDW AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Indonesian
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,760 Pooled false
Geometric Mean Average Precision 0.1266 Words. MT.
Binary Preference (BPREF) 0.3166
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.37 APLBIIDENTDW
10 47.68 90%
20 43.84
80%
30 40.21
40 35.87 70%
50 32.88
60%
60 28.25
Precision
70 25.09 50%
80 20.08 40%
90 16.13
30%
100 9.92
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
30.85 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9762
Minimum 0.0001
First Quartile 0.0551
Second Quartile 0.2028
Third Quartile 0.5349
Interquartile range 0.4798 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3085
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2733 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0001
Upper Outlier Threshold 0.9762 10
Mean With No Outliers 0.3085
Std With No Outliers 0.2733 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTDW
0.8
401-AH 18.63 426-AH 16.45 0.6
402-AH 38.41 427-AH 17.74 0.4
403-AH 7.56 428-AH 4.80 0.2
Difference
404-AH 3.85 429-AH 16.43 0
405-AH 49.57 430-AH 51.39 −0.2
−0.4
406-AH 0.15 431-AH 1.13
−0.6
407-AH 53.53 432-AH 31.99
−0.8
408-AH 48.66 433-AH 68.84
−1
409-AH 24.39 434-AH 89.35 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 67.28 435-AH 72.83
411-AH 8.14 436-AH 21.93
412-AH 0.33 437-AH 68.32 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTDW
413-AH 34.25 438-AH 5.51 0.8
414-AH 39.72 439-AH 2.89 0.6
415-AH 11.16 440-AH 0.22 0.4
416-AH 61.04 441-AH 11.34 0.2
Difference
417-AH 1.76 442-AH 55.03 0
418-AH 53.49 443-AH 51.87 −0.2
−0.4
419-AH 77.73 444-AH 18.10
−0.6
420-AH 54.03 445-AH 35.20
−0.8
421-AH 64.36 446-AH 1.40
−1
422-AH 4.07 447-AH 97.62 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 7.69 448-AH 18.21
424-AH 0.47 449-AH 39.17
425-AH 14.64 450-AH 0.01
552
jhu-apl 10.2415/AH-BILI-X2EN-CLEF2007.JHU-APL.APLBIIDENTDW AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 42.40 APLBIIDENTDW
10 docs 37.80 90%
15 docs 35.07
80%
20 docs 33.90
30 docs 31.27 70%
100 docs 18.52
60%
200 docs 12.18
Precision
500 docs 6.32 50%
1000 docs 3.52 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
30.40
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0421
Second Quartile 0.2500
Third Quartile 0.5000
Interquartile range 0.4579 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3040
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2576 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.3040
Std With No Outliers 0.2576 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIIDENTDW
0.8
401-AH 33.33 426-AH 24.41 0.6
402-AH 35.48 427-AH 12.50 0.4
403-AH 13.04 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 57.14 430-AH 48.39 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 56.52 432-AH 25.00
−0.8
408-AH 44.44 433-AH 63.53
−1
409-AH 31.58 434-AH 81.08 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 69.30
411-AH 0.00 436-AH 21.79
412-AH 0.00 437-AH 65.68 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIIDENTDW
413-AH 33.33 438-AH 0.00 0.8
414-AH 50.00 439-AH 7.69 0.6
415-AH 23.94 440-AH 0.00 0.4
416-AH 57.58 441-AH 11.11 0.2
Difference
417-AH 4.21 442-AH 50.00 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 65.22 444-AH 24.00
−0.6
420-AH 60.87 445-AH 25.00
−0.8
421-AH 58.33 446-AH 0.00
−1
422-AH 11.76 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 42.19
425-AH 27.03 450-AH 0.00
553
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.BENGALITITLE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 7
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 43,123 Source Language Bengali
Relevant 2,247 Topic Fields title
Relevant retrieved 608 Pooled true
Geometric Mean Average Precision 0.0011 AH Bi-lingual Bengali task (Bengali Title run)
Binary Preference (BPREF) 0.0543
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 12.65 BENGALITITLE
10 9.51 90%
20 8.46
80%
30 7.08
40 6.16 70%
50 5.26
60%
60 4.14
Precision
70 3.39 50%
80 2.64 40%
90 1.49
30%
100 0.53
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
4.98 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.4672
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0029
Third Quartile 0.0414
Interquartile range 0.0414 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0498
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1046 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.0817 25
Mean With No Outliers 0.0111 20
15
Std With No Outliers 0.0216
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BENGALITITLE
0.8
401-AH 11.34 426-AH 0.00 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 0.84 428-AH 0.42 0.2
Difference
404-AH 7.69 429-AH 0.71 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.96 431-AH 0.62
−0.6
407-AH 0.00 432-AH 21.36
−0.8
408-AH 0.01 433-AH 0.00
−1
409-AH 35.16 434-AH 46.72 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 38.64 435-AH 1.09
411-AH 0.04 436-AH 11.40
412-AH 0.14 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BENGALITITLE
413-AH 0.00 438-AH 8.17 0.8
414-AH 0.00 439-AH 0.36 0.6
415-AH 0.04 440-AH 0.85 0.4
416-AH 1.41 441-AH 6.04 0.2
Difference
417-AH 0.00 442-AH 0.00 0
418-AH 0.00 443-AH 0.00 −0.2
−0.4
419-AH 22.16 444-AH 15.36
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.88
−1
422-AH 6.09 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 4.14
424-AH 0.08 449-AH 2.12
425-AH 3.88 450-AH 0.21
554
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.BENGALITITLE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 4.80 BENGALITITLE
10 docs 6.60 90%
15 docs 6.93
80%
20 docs 7.00
30 docs 6.67 70%
100 docs 4.60
60%
200 docs 3.24
Precision
500 docs 1.92 50%
1000 docs 1.22 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
5.86
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.4505
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0439
Interquartile range 0.0439 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0586
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1168 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1000 25
Mean With No Outliers 0.0071 20
15
Std With No Outliers 0.0194
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BENGALITITLE
0.8
401-AH 16.67 426-AH 0.00 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 1.45 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 5.08 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 29.17
−0.8
408-AH 0.00 433-AH 0.39
−1
409-AH 42.11 434-AH 45.05 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 34.04 435-AH 4.39
411-AH 0.00 436-AH 24.36
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BENGALITITLE
413-AH 0.00 438-AH 10.00 0.8
414-AH 0.00 439-AH 3.85 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 0.00 441-AH 11.11 0.2
Difference
417-AH 0.00 442-AH 0.00 0
418-AH 0.00 443-AH 0.00 −0.2
−0.4
419-AH 30.43 444-AH 16.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 15.69 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 1.56
425-AH 0.00 450-AH 1.67
555
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.BENGALITITLEDESC AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 8
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bengali
Relevant 2,247 Topic Fields title, description
Relevant retrieved 851 Pooled false
Geometric Mean Average Precision 0.0049 AH Bi-lingual Bengali task (Bengali Title+Desc run)
Binary Preference (BPREF) 0.1038
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 21.48 BENGALITITLEDESC
10 15.12 90%
20 11.71
80%
30 9.82
40 8.50 70%
50 7.16
60%
60 6.00
Precision
70 3.85 50%
80 3.06 40%
90 1.58
30%
100 0.36
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.26 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5685
Minimum 0.0000
First Quartile 0.0009
Second Quartile 0.0117
Third Quartile 0.0916
Interquartile range 0.0907 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0726
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1307 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1985 25
Mean With No Outliers 0.0314 20
15
Std With No Outliers 0.0499
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BENGALITITLEDESC
0.8
401-AH 24.11 426-AH 0.28 0.6
402-AH 1.82 427-AH 0.00 0.4
403-AH 1.87 428-AH 0.98 0.2
Difference
404-AH 2.70 429-AH 0.51 0
405-AH 0.01 430-AH 0.16 −0.2
−0.4
406-AH 9.84 431-AH 1.11
−0.6
407-AH 1.21 432-AH 22.79
−0.8
408-AH 1.14 433-AH 0.43
−1
409-AH 52.16 434-AH 40.59 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.85 435-AH 1.34
411-AH 0.06 436-AH 11.35
412-AH 5.44 437-AH 8.21 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BENGALITITLEDESC
413-AH 0.03 438-AH 12.16 0.8
414-AH 0.00 439-AH 0.25 0.6
415-AH 0.09 440-AH 5.24 0.4
416-AH 28.32 441-AH 9.16 0.2
Difference
417-AH 0.00 442-AH 0.00 0
418-AH 0.09 443-AH 0.00 −0.2
−0.4
419-AH 19.85 444-AH 18.53
−0.6
420-AH 0.19 445-AH 0.00
−0.8
421-AH 0.00 446-AH 1.33
−1
422-AH 5.73 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 2.76
424-AH 0.68 449-AH 2.60
425-AH 10.64 450-AH 0.26
556
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.BENGALITITLEDESC AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 10.00 BENGALITITLEDESC
10 docs 10.20 90%
15 docs 9.73
80%
20 docs 8.80
30 docs 8.80 70%
100 docs 6.34
60%
200 docs 4.54
Precision
500 docs 2.65 50%
1000 docs 1.70 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.53
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5789
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0162
Third Quartile 0.1111
Interquartile range 0.1111 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0853
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1429 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.2609 25
Mean With No Outliers 0.0453 20
15
Std With No Outliers 0.0702
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BENGALITITLEDESC
0.8
401-AH 16.67 426-AH 3.29 0.6
402-AH 3.23 427-AH 0.00 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 0.00 430-AH 3.23 −0.2
−0.4
406-AH 9.52 431-AH 0.00
−0.6
407-AH 0.00 432-AH 33.33
−0.8
408-AH 0.00 433-AH 1.57
−1
409-AH 57.89 434-AH 45.95 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 55.32 435-AH 4.39
411-AH 0.00 436-AH 23.08
412-AH 7.41 437-AH 15.98 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BENGALITITLEDESC
413-AH 0.00 438-AH 6.67 0.8
414-AH 0.00 439-AH 3.85 0.6
415-AH 0.00 440-AH 5.56 0.4
416-AH 30.30 441-AH 11.11 0.2
Difference
417-AH 0.00 442-AH 0.00 0
418-AH 0.00 443-AH 0.00 −0.2
−0.4
419-AH 26.09 444-AH 16.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 16.67 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 1.56
425-AH 18.92 450-AH 1.67
557
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.BENGALITITLEDESCNARR AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 9
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Bengali
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 906 Pooled false
Geometric Mean Average Precision 0.0057 AH Bi-lingual Bengali task (Bengali Title+Desc+Narr
Binary Preference (BPREF) 0.1121 run)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 21.65 BENGALITITLEDESCNARR
10 15.87 90%
20 11.19
80%
30 9.73
40 8.30 70%
50 6.90
60%
60 5.34
Precision
70 4.04 50%
80 2.67 40%
90 1.09
30%
100 0.47
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.19 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5685
Minimum 0.0000
First Quartile 0.0006
Second Quartile 0.0100
Third Quartile 0.0639
Interquartile range 0.0634 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0719
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1287 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1531 25
Mean With No Outliers 0.0248 20
15
Std With No Outliers 0.0397
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries BENGALITITLEDESCNARR
0.8
401-AH 15.31 426-AH 0.34 0.6
402-AH 4.64 427-AH 0.06 0.4
403-AH 2.18 428-AH 0.90 0.2
Difference
404-AH 5.00 429-AH 0.33 0
405-AH 0.02 430-AH 0.11 −0.2
−0.4
406-AH 6.33 431-AH 1.09
−0.6
407-AH 2.72 432-AH 21.15
−0.8
408-AH 6.39 433-AH 0.75
−1
409-AH 44.71 434-AH 47.70 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 56.85 435-AH 1.07
411-AH 0.03 436-AH 21.22
412-AH 5.67 437-AH 23.25 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
BENGALITITLEDESCNARR
413-AH 0.01 438-AH 4.85 0.8
414-AH 0.00 439-AH 0.04 0.6
415-AH 0.09 440-AH 9.55 0.4
416-AH 15.08 441-AH 1.18 0.2
Difference
417-AH 0.03 442-AH 0.02 0
418-AH 0.06 443-AH 0.01 −0.2
−0.4
419-AH 24.17 444-AH 16.39
−0.6
420-AH 0.94 445-AH 0.00
−0.8
421-AH 0.00 446-AH 1.34
−1
422-AH 6.37 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.24
424-AH 0.39 449-AH 0.46
425-AH 10.38 450-AH 0.30
558
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.BENGALITITLEDESCNARR AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 11.60 BENGALITITLEDESCNARR
10 docs 10.80 90%
15 docs 10.67
80%
20 docs 10.70
30 docs 10.33 70%
100 docs 6.78
60%
200 docs 4.76
Precision
500 docs 2.81 50%
1000 docs 1.81 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
9.00
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5532
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0083
Third Quartile 0.1351
Interquartile range 0.1351 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0900
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1422 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.3136 25
Mean With No Outliers 0.0574 20
15
Std With No Outliers 0.0892
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries BENGALITITLEDESCNARR
0.8
401-AH 16.67 426-AH 2.82 0.6
402-AH 9.68 427-AH 0.00 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 9.52 431-AH 0.00
−0.6
407-AH 0.00 432-AH 29.17
−0.8
408-AH 11.11 433-AH 4.71
−1
409-AH 47.37 434-AH 48.65 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 55.32 435-AH 4.39
411-AH 0.00 436-AH 34.62
412-AH 11.11 437-AH 31.36 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
BENGALITITLEDESCNARR
413-AH 0.00 438-AH 3.33 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 0.00 440-AH 16.67 0.4
416-AH 18.18 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 0.00 0
418-AH 0.00 443-AH 0.00 −0.2
−0.4
419-AH 30.43 444-AH 20.00
−0.6
420-AH 4.35 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 17.65 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 0.00
425-AH 13.51 450-AH 1.67
559
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.HINDITITLE AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 46,527 Source Language Hindi
Relevant 2,247 Topic Fields title
Relevant retrieved 708 Pooled false
Geometric Mean Average Precision 0.0021 AH Bi-lingual Bengali task (Hindi Title run)
Binary Preference (BPREF) 0.0995
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 15.95 HINDITITLE
10 9.29 90%
20 6.92
80%
30 5.97
40 5.35 70%
50 4.37
60%
60 3.58
Precision
70 3.15 50%
80 2.92 40%
90 2.21
30%
100 0.79
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
4.77 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.5974
Minimum 0.0000
First Quartile 0.0002
Second Quartile 0.0045
Third Quartile 0.0288
Interquartile range 0.0286 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0477
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1130 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.0513
30
Mean With No Outliers 0.0100
20
Std With No Outliers 0.0148
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries HINDITITLE
0.8
401-AH 15.02 426-AH 0.10 0.6
402-AH 0.97 427-AH 1.36 0.4
403-AH 0.19 428-AH 1.46 0.2
Difference
404-AH 2.56 429-AH 0.08 0
405-AH 32.79 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.10
−0.6
407-AH 2.88 432-AH 0.12
−0.8
408-AH 1.93 433-AH 8.63
−1
409-AH 36.58 434-AH 26.84 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 59.74 435-AH 0.03
411-AH 0.00 436-AH 2.57
412-AH 0.10 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
HINDITITLE
413-AH 0.00 438-AH 0.02 0.8
414-AH 0.00 439-AH 4.98 0.6
415-AH 0.08 440-AH 0.79 0.4
416-AH 0.01 441-AH 3.89 0.2
Difference
417-AH 4.75 442-AH 0.00 0
418-AH 0.00 443-AH 16.14 −0.2
−0.4
419-AH 3.14 444-AH 0.91
−0.6
420-AH 0.30 445-AH 0.00
−0.8
421-AH 0.95 446-AH 0.92
−1
422-AH 0.08 447-AH 0.02 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.47 448-AH 0.46
424-AH 0.44 449-AH 5.13
425-AH 0.00 450-AH 0.00
560
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.HINDITITLE AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 8.40 HINDITITLE
10 docs 6.40 90%
15 docs 6.13
80%
20 docs 5.40
30 docs 5.53 70%
100 docs 3.86
60%
200 docs 3.52
Precision
500 docs 2.14 50%
1000 docs 1.42 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
5.34
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5106
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0400
Interquartile range 0.0400 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0534
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1131 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.0897 25
Mean With No Outliers 0.0063 20
15
Std With No Outliers 0.0174
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries HINDITITLE
0.8
401-AH 16.67 426-AH 1.41 0.6
402-AH 1.61 427-AH 0.00 0.4
403-AH 1.45 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 33.33 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 0.00 433-AH 20.00
−1
409-AH 42.11 434-AH 25.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 51.06 435-AH 0.00
411-AH 0.00 436-AH 5.13
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
HINDITITLE
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 8.97 0.6
415-AH 0.00 440-AH 0.00 0.4
416-AH 0.00 441-AH 11.11 0.2
Difference
417-AH 10.53 442-AH 0.00 0
418-AH 0.00 443-AH 19.05 −0.2
−0.4
419-AH 0.00 444-AH 4.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 0.98 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 12.50
425-AH 0.00 450-AH 0.00
561
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.HINDITITLEDESC AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description
Relevant retrieved 687 Pooled false
Geometric Mean Average Precision 0.0032 AH Bi-lingual Bengali task (Hindi Title+Desc run)
Binary Preference (BPREF) 0.1158
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 17.33 HINDITITLEDESC
10 9.74 90%
20 6.43
80%
30 5.13
40 3.50 70%
50 3.29
60%
60 2.94
Precision
70 2.49 50%
80 2.19 40%
90 1.54
30%
100 0.66
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
4.39 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6444
Minimum 0.0000
First Quartile 0.0014
Second Quartile 0.0055
Third Quartile 0.0237
Interquartile range 0.0223 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0439
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1153 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.0494
30
Mean With No Outliers 0.0089
20
Std With No Outliers 0.0116
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries HINDITITLEDESC
0.8
401-AH 21.07 426-AH 0.18 0.6
402-AH 0.21 427-AH 1.22 0.4
403-AH 2.33 428-AH 2.37 0.2
Difference
404-AH 0.63 429-AH 0.24 0
405-AH 21.60 430-AH 0.30 −0.2
−0.4
406-AH 0.01 431-AH 0.14
−0.6
407-AH 2.88 432-AH 1.13
−0.8
408-AH 1.33 433-AH 8.62
−1
409-AH 44.52 434-AH 15.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 64.44 435-AH 0.04
411-AH 0.00 436-AH 1.77
412-AH 0.09 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
HINDITITLEDESC
413-AH 0.00 438-AH 0.41 0.8
414-AH 0.00 439-AH 2.29 0.6
415-AH 0.29 440-AH 0.48 0.4
416-AH 0.00 441-AH 2.47 0.2
Difference
417-AH 3.23 442-AH 0.22 0
418-AH 0.01 443-AH 3.45 −0.2
−0.4
419-AH 4.94 444-AH 0.76
−0.6
420-AH 0.75 445-AH 0.00
−0.8
421-AH 0.59 446-AH 1.06
−1
422-AH 0.27 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.83 448-AH 0.50
424-AH 0.41 449-AH 5.75
425-AH 0.36 450-AH 0.00
562
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.HINDITITLEDESC AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 9.20 HINDITITLEDESC
10 docs 8.60 90%
15 docs 7.33
80%
20 docs 7.10
30 docs 5.73 70%
100 docs 3.70
60%
200 docs 2.94
Precision
500 docs 1.99 50%
1000 docs 1.37 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
5.19
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5319
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0580
Interquartile range 0.0580 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0519
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1109 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1111 25
Mean With No Outliers 0.0176 20
15
Std With No Outliers 0.0308
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries HINDITITLEDESC
0.8
401-AH 16.67 426-AH 1.41 0.6
402-AH 0.00 427-AH 6.25 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 0.00 0
405-AH 28.57 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 0.00 433-AH 18.43
−1
409-AH 47.37 434-AH 18.02 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 53.19 435-AH 0.00
411-AH 0.00 436-AH 5.13
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
HINDITITLEDESC
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 7.69 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 0.00 441-AH 11.11 0.2
Difference
417-AH 6.32 442-AH 0.00 0
418-AH 0.00 443-AH 7.14 −0.2
−0.4
419-AH 4.35 444-AH 4.00
−0.6
420-AH 2.17 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 0.98 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 10.94
425-AH 2.70 450-AH 0.00
563
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.HINDITITLEDESCNARR AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 696 Pooled false
Geometric Mean Average Precision 0.0034 AH Bi-lingual Bengali task (Hindi Title+Desc+Narr
Binary Preference (BPREF) 0.1202 run)
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 17.96 HINDITITLEDESCNARR
10 10.82 90%
20 7.73
80%
30 6.73
40 4.24 70%
50 3.57
60%
60 3.02
Precision
70 2.55 50%
80 1.93 40%
90 1.11
30%
100 0.50
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
4.77 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6516
Minimum 0.0000
First Quartile 0.0005
Second Quartile 0.0050
Third Quartile 0.0242
Interquartile range 0.0237 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0477
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1204 50
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 40
Upper Outlier Threshold 0.0484
30
Mean With No Outliers 0.0089
20
Std With No Outliers 0.0124
10
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries HINDITITLEDESCNARR
0.8
401-AH 11.52 426-AH 0.39 0.6
402-AH 4.84 427-AH 0.63 0.4
403-AH 3.40 428-AH 2.02 0.2
Difference
404-AH 0.76 429-AH 1.07 0
405-AH 14.75 430-AH 0.34 −0.2
−0.4
406-AH 0.01 431-AH 0.01
−0.6
407-AH 0.49 432-AH 0.54
−0.8
408-AH 2.11 433-AH 7.25
−1
409-AH 40.86 434-AH 30.27 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 65.16 435-AH 0.05
411-AH 0.00 436-AH 0.51
412-AH 0.25 437-AH 0.01 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
HINDITITLEDESCNARR
413-AH 0.00 438-AH 0.04 0.8
414-AH 0.00 439-AH 2.40 0.6
415-AH 0.23 440-AH 0.23 0.4
416-AH 0.06 441-AH 2.42 0.2
Difference
417-AH 2.94 442-AH 30.06 0
418-AH 0.03 443-AH 3.38 −0.2
−0.4
419-AH 3.99 444-AH 0.48
−0.6
420-AH 1.09 445-AH 0.00
−0.8
421-AH 0.98 446-AH 0.77
−1
422-AH 0.18 447-AH 0.02 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.20 448-AH 0.04
424-AH 0.10 449-AH 1.23
425-AH 0.19 450-AH 0.00
564
kharagpur 10.2415/AH-BILI-X2EN-CLEF2007.KHARAGPUR.HINDITITLEDESCNARR AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 10.40 HINDITITLEDESCNARR
10 docs 8.40 90%
15 docs 8.13
80%
20 docs 7.30
30 docs 6.20 70%
100 docs 4.04
60%
200 docs 3.10
Precision
500 docs 2.01 50%
1000 docs 1.39 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
5.76
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5745
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0508
Interquartile range 0.0508 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0576
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1236 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1014 25
Mean With No Outliers 0.0147 20
15
Std With No Outliers 0.0272
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries HINDITITLEDESCNARR
0.8
401-AH 16.67 426-AH 2.82 0.6
402-AH 9.68 427-AH 0.00 0.4
403-AH 10.14 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 5.08 0
405-AH 19.05 430-AH 3.23 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 0.00 433-AH 16.47
−1
409-AH 47.37 434-AH 34.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 57.45 435-AH 0.88
411-AH 0.00 436-AH 3.85
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
HINDITITLEDESCNARR
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 6.41 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 0.00 441-AH 0.00 0.2
Difference
417-AH 5.26 442-AH 33.33 0
418-AH 0.00 443-AH 7.14 −0.2
−0.4
419-AH 0.00 444-AH 4.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 1.96 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 0.00
425-AH 0.00 450-AH 0.00
565
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.2007_LM_ALL_CROSS_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,512 Pooled true
Geometric Mean Average Precision 0.0675 LM_all_Cross_1000_posScores
Binary Preference (BPREF) 0.2166
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 48.95 2007_LM_ALL_CROSS_1000_POSSCORES
10 39.21 90%
20 34.84
80%
30 29.09
40 25.19 70%
50 22.96
60%
60 17.72
Precision
70 14.57 50%
80 11.04 40%
90 7.42
30%
100 3.46
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.57 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7034
Minimum 0.0000
First Quartile 0.0333
Second Quartile 0.1659
Third Quartile 0.3764
Interquartile range 0.3431 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2157
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2065 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7034 10
Mean With No Outliers 0.2157
Std With No Outliers 0.2065 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries 2007_LM_ALL_CROSS_1000_POSSCORES
0.8
401-AH 60.44 426-AH 8.62 0.6
402-AH 38.82 427-AH 18.02 0.4
403-AH 10.64 428-AH 5.92 0.2
Difference
404-AH 25.00 429-AH 4.02 0
405-AH 0.01 430-AH 37.64 −0.2
−0.4
406-AH 3.33 431-AH 1.47
−0.6
407-AH 18.13 432-AH 15.87
−0.8
408-AH 33.17 433-AH 52.58
−1
409-AH 31.25 434-AH 34.58 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 70.34 435-AH 42.51
411-AH 2.76 436-AH 9.14
412-AH 0.00 437-AH 19.73 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
2007_LM_ALL_CROSS_1000_POSSCORES
413-AH 16.27 438-AH 16.90 0.8
414-AH 5.49 439-AH 1.26 0.6
415-AH 0.03 440-AH 51.28 0.4
416-AH 66.85 441-AH 7.22 0.2
Difference
417-AH 41.36 442-AH 11.79 0
418-AH 23.79 443-AH 50.64 −0.2
−0.4
419-AH 13.69 444-AH 17.73
−0.6
420-AH 0.27 445-AH 48.75
−0.8
421-AH 45.93 446-AH 12.16
−1
422-AH 0.53 447-AH 63.57 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.24 448-AH 2.43
424-AH 17.05 449-AH 18.47
425-AH 0.62 450-AH 0.03
566
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.2007_LM_ALL_CROSS_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 31.60 2007_LM_ALL_CROSS_1000_POSSCORES
10 docs 29.40 90%
15 docs 27.20
80%
20 docs 26.10
30 docs 23.60 70%
100 docs 13.54
60%
200 docs 9.10
Precision
500 docs 5.06 50%
1000 docs 3.02 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.03
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0476
Second Quartile 0.1759
Third Quartile 0.3784
Interquartile range 0.3308 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2203
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2001 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.6667 10
Mean With No Outliers 0.2203
Std With No Outliers 0.2001 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries 2007_LM_ALL_CROSS_1000_POSSCORES
0.8
401-AH 50.00 426-AH 16.43 0.6
402-AH 45.16 427-AH 18.75 0.4
403-AH 15.94 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 13.56 0
405-AH 0.00 430-AH 35.48 −0.2
−0.4
406-AH 4.76 431-AH 0.00
−0.6
407-AH 21.74 432-AH 25.00
−0.8
408-AH 27.78 433-AH 53.73
−1
409-AH 31.58 434-AH 37.84 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 59.57 435-AH 38.60
411-AH 10.00 436-AH 15.38
412-AH 0.00 437-AH 20.71 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
2007_LM_ALL_CROSS_1000_POSSCORES
413-AH 6.67 438-AH 20.00 0.8
414-AH 0.00 439-AH 7.69 0.6
415-AH 0.00 440-AH 55.56 0.4
416-AH 63.64 441-AH 11.11 0.2
Difference
417-AH 38.95 442-AH 8.33 0
418-AH 21.43 443-AH 52.38 −0.2
−0.4
419-AH 13.04 444-AH 20.00
−0.6
420-AH 2.17 445-AH 50.00
−0.8
421-AH 50.00 446-AH 8.33
−1
422-AH 1.96 447-AH 66.67 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 29.69
425-AH 2.70 450-AH 0.00
567
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.2007_RBLM_ALL_CROSS_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,522 Pooled false
Geometric Mean Average Precision 0.0464 RBLM_all_Cross_1000_posScores
Binary Preference (BPREF) 0.2285
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 48.98 2007_RBLM_ALL_CROSS_1000_POSSCORES
10 40.07 90%
20 35.85
80%
30 28.28
40 25.32 70%
50 22.58
60%
60 18.53
Precision
70 14.13 50%
80 10.74 40%
90 7.26
30%
100 3.47
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.81 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6746
Minimum 0.0000
First Quartile 0.0167
Second Quartile 0.1227
Third Quartile 0.3755
Interquartile range 0.3588 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2181
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2213 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6746
Mean With No Outliers 0.2181 10
Std With No Outliers 0.2213
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries 2007_RBLM_ALL_CROSS_1000_POSSCORES
0.8
401-AH 63.45 426-AH 8.41 0.6
402-AH 37.55 427-AH 16.91 0.4
403-AH 9.93 428-AH 4.63 0.2
Difference
404-AH 20.00 429-AH 4.01 0
405-AH 0.00 430-AH 42.55 −0.2
−0.4
406-AH 3.38 431-AH 0.54
−0.6
407-AH 9.87 432-AH 21.94
−0.8
408-AH 31.88 433-AH 65.40
−1
409-AH 25.84 434-AH 60.34 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 61.63 435-AH 52.05
411-AH 2.65 436-AH 1.67
412-AH 0.00 437-AH 36.21 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
2007_RBLM_ALL_CROSS_1000_POSSCORES
413-AH 13.83 438-AH 18.26 0.8
414-AH 0.66 439-AH 0.84 0.6
415-AH 0.05 440-AH 48.77 0.4
416-AH 55.48 441-AH 5.92 0.2
Difference
417-AH 25.07 442-AH 7.18 0
418-AH 34.14 443-AH 54.39 −0.2
−0.4
419-AH 27.50 444-AH 9.62
−0.6
420-AH 0.55 445-AH 47.15
−0.8
421-AH 49.86 446-AH 7.97
−1
422-AH 0.85 447-AH 67.46 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.66
424-AH 10.72 449-AH 22.60
425-AH 0.03 450-AH 0.00
568
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.2007_RBLM_ALL_CROSS_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 34.40 2007_RBLM_ALL_CROSS_1000_POSSCORES
10 docs 29.80 90%
15 docs 27.20
80%
20 docs 25.00
30 docs 23.13 70%
100 docs 13.80
60%
200 docs 9.46
Precision
500 docs 5.18 50%
1000 docs 3.04 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
21.77
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1560
Third Quartile 0.3669
Interquartile range 0.3669 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2177
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2151 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6667
Mean With No Outliers 0.2177 10
Std With No Outliers 0.2151
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries 2007_RBLM_ALL_CROSS_1000_POSSCORES
0.8
401-AH 66.67 426-AH 15.02 0.6
402-AH 35.48 427-AH 12.50 0.4
403-AH 15.94 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 15.25 0
405-AH 0.00 430-AH 41.94 −0.2
−0.4
406-AH 4.76 431-AH 0.00
−0.6
407-AH 17.39 432-AH 33.33
−0.8
408-AH 16.67 433-AH 65.88
−1
409-AH 31.58 434-AH 60.36 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 55.32 435-AH 48.25
411-AH 0.00 436-AH 7.69
412-AH 0.00 437-AH 36.69 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
2007_RBLM_ALL_CROSS_1000_POSSCORES
413-AH 20.00 438-AH 13.33 0.8
414-AH 0.00 439-AH 2.56 0.6
415-AH 0.00 440-AH 38.89 0.4
416-AH 48.48 441-AH 0.00 0.2
Difference
417-AH 23.16 442-AH 0.00 0
418-AH 35.71 443-AH 47.62 −0.2
−0.4
419-AH 26.09 444-AH 8.00
−0.6
420-AH 2.17 445-AH 50.00
−0.8
421-AH 50.00 446-AH 8.33
−1
422-AH 1.96 447-AH 66.67 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 20.00 449-AH 35.94
425-AH 0.00 450-AH 0.00
569
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.LM_ALL_CROSS_TD_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,373 Pooled false
Geometric Mean Average Precision 0.0500 LM_all_Cross_TD_1000_posScores
Binary Preference (BPREF) 0.2060
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 47.02 LM_ALL_CROSS_TD_1000_POSSCORES
10 36.63 90%
20 32.70
80%
30 26.05
40 23.51 70%
50 20.80
60%
60 15.65
Precision
70 13.11 50%
80 10.48 40%
90 7.16
30%
100 3.95
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
19.94 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7663
Minimum 0.0000
First Quartile 0.0212
Second Quartile 0.1512
Third Quartile 0.3510
Interquartile range 0.3298 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1994
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2018 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7663
Mean With No Outliers 0.1994 10
Std With No Outliers 0.2018
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries LM_ALL_CROSS_TD_1000_POSSCORES
0.8
401-AH 30.89 426-AH 8.15 0.6
402-AH 23.76 427-AH 18.30 0.4
403-AH 0.92 428-AH 9.40 0.2
Difference
404-AH 50.00 429-AH 0.29 0
405-AH 0.02 430-AH 43.98 −0.2
−0.4
406-AH 1.63 431-AH 3.42
−0.6
407-AH 19.81 432-AH 14.83
−0.8
408-AH 35.26 433-AH 51.27
−1
409-AH 33.74 434-AH 58.93 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 0.05 435-AH 29.87
411-AH 2.50 436-AH 0.08
412-AH 0.00 437-AH 17.02 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
LM_ALL_CROSS_TD_1000_POSSCORES
413-AH 12.23 438-AH 20.31 0.8
414-AH 50.00 439-AH 0.78 0.6
415-AH 0.01 440-AH 42.52 0.4
416-AH 67.86 441-AH 6.91 0.2
Difference
417-AH 38.14 442-AH 15.41 0
418-AH 22.80 443-AH 6.45 −0.2
−0.4
419-AH 8.37 444-AH 20.57
−0.6
420-AH 0.02 445-AH 43.03
−0.8
421-AH 35.10 446-AH 8.61
−1
422-AH 0.52 447-AH 76.63 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 4.35 448-AH 2.12
424-AH 36.55 449-AH 20.73
425-AH 2.85 450-AH 0.02
570
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.LM_ALL_CROSS_TD_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 26.00 LM_ALL_CROSS_TD_1000_POSSCORES
10 docs 21.60 90%
15 docs 21.07
80%
20 docs 20.90
30 docs 19.20 70%
100 docs 11.72
60%
200 docs 8.31
Precision
500 docs 4.62 50%
1000 docs 2.75 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
19.91
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6667
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1762
Third Quartile 0.3226
Interquartile range 0.3226 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1991
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1956 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.6667
Mean With No Outliers 0.1991 10
Std With No Outliers 0.1956
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries LM_ALL_CROSS_TD_1000_POSSCORES
0.8
401-AH 50.00 426-AH 16.90 0.6
402-AH 32.26 427-AH 18.75 0.4
403-AH 4.35 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 3.39 0
405-AH 0.00 430-AH 38.71 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 21.74 432-AH 25.00
−0.8
408-AH 27.78 433-AH 54.12
−1
409-AH 31.58 434-AH 57.66 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 0.00 435-AH 35.96
411-AH 10.00 436-AH 0.00
412-AH 0.00 437-AH 18.34 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
LM_ALL_CROSS_TD_1000_POSSCORES
413-AH 6.67 438-AH 20.00 0.8
414-AH 50.00 439-AH 6.41 0.6
415-AH 0.00 440-AH 44.44 0.4
416-AH 63.64 441-AH 0.00 0.2
Difference
417-AH 38.95 442-AH 25.00 0
418-AH 21.43 443-AH 7.14 −0.2
−0.4
419-AH 13.04 444-AH 28.00
−0.6
420-AH 0.00 445-AH 25.00
−0.8
421-AH 41.67 446-AH 0.00
−1
422-AH 2.94 447-AH 66.67 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 40.00 449-AH 28.12
425-AH 10.81 450-AH 0.00
571
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.RBLM_ALL_CROSS_TD_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Hindi
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,430 Pooled false
Geometric Mean Average Precision 0.0449 RBLM_all_Cross_TD_1000_posScores
Binary Preference (BPREF) 0.2256
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 48.21 RBLM_ALL_CROSS_TD_1000_POSSCORES
10 39.01 90%
20 35.19
80%
30 29.66
40 26.87 70%
50 23.34
60%
60 16.49
Precision
70 13.53 50%
80 10.22 40%
90 7.74
30%
100 3.81
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
21.55 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8357
Minimum 0.0000
First Quartile 0.0136
Second Quartile 0.1518
Third Quartile 0.3433
Interquartile range 0.3297 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2155
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2195 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8357
Mean With No Outliers 0.2155 10
Std With No Outliers 0.2195
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries RBLM_ALL_CROSS_TD_1000_POSSCORES
0.8
401-AH 30.69 426-AH 13.98 0.6
402-AH 35.68 427-AH 17.29 0.4
403-AH 0.77 428-AH 8.01 0.2
Difference
404-AH 50.00 429-AH 0.32 0
405-AH 0.02 430-AH 51.86 −0.2
−0.4
406-AH 2.11 431-AH 1.36
−0.6
407-AH 15.79 432-AH 22.35
−0.8
408-AH 33.10 433-AH 72.86
−1
409-AH 25.98 434-AH 71.82 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 0.01 435-AH 22.30
411-AH 2.87 436-AH 0.02
412-AH 0.00 437-AH 37.54 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
RBLM_ALL_CROSS_TD_1000_POSSCORES
413-AH 14.58 438-AH 23.75 0.8
414-AH 50.00 439-AH 0.76 0.6
415-AH 0.03 440-AH 34.33 0.4
416-AH 58.39 441-AH 5.65 0.2
Difference
417-AH 27.02 442-AH 12.68 0
418-AH 27.84 443-AH 8.47 −0.2
−0.4
419-AH 35.60 444-AH 14.52
−0.6
420-AH 0.01 445-AH 41.75
−0.8
421-AH 43.72 446-AH 5.86
−1
422-AH 0.54 447-AH 83.57 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 3.57 448-AH 0.40
424-AH 33.92 449-AH 31.71
425-AH 2.27 450-AH 0.00
572
msindia 10.2415/AH-BILI-X2EN-CLEF2007.MSINDIA.RBLM_ALL_CROSS_TD_1000_POSSCORES AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 29.20 RBLM_ALL_CROSS_TD_1000_POSSCORES
10 docs 25.20 90%
15 docs 22.93
80%
20 docs 21.80
30 docs 20.73 70%
100 docs 12.70
60%
200 docs 8.83
Precision
500 docs 4.88 50%
1000 docs 2.86 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
22.05
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7387
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1952
Third Quartile 0.3750
Interquartile range 0.3750 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2205
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2177 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7387
Mean With No Outliers 0.2205 10
Std With No Outliers 0.2177
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries RBLM_ALL_CROSS_TD_1000_POSSCORES
0.8
401-AH 50.00 426-AH 26.76 0.6
402-AH 37.10 427-AH 18.75 0.4
403-AH 4.35 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 0.00 430-AH 51.61 −0.2
−0.4
406-AH 4.76 431-AH 0.00
−0.6
407-AH 21.74 432-AH 37.50
−0.8
408-AH 16.67 433-AH 70.59
−1
409-AH 26.32 434-AH 73.87 401−AH402−AH403−AH404−AH405−AH406−AH407−AH408−AH409−AH410−AH411−AH412−AH413−AH414−AH415−AH416−AH417−AH418−AH419−AH420−AH421−AH422−AH423−AH424−AH425−AH
Topic Identifier
410-AH 0.00 435-AH 28.95
411-AH 0.00 436-AH 0.00
412-AH 0.00 437-AH 38.46 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
RBLM_ALL_CROSS_TD_1000_POSSCORES
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 6.41 0.6
415-AH 0.00 440-AH 27.78 0.4
416-AH 57.58 441-AH 0.00 0.2
Difference
417-AH 29.47 442-AH 8.33 0
418-AH 21.43 443-AH 19.05 −0.2
−0.4
419-AH 34.78 444-AH 20.00
−0.6
420-AH 0.00 445-AH 50.00
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.00 447-AH 66.67 426−AH427−AH428−AH429−AH430−AH431−AH432−AH433−AH434−AH435−AH436−AH437−AH438−AH439−AH440−AH441−AH442−AH443−AH444−AH445−AH446−AH447−AH448−AH449−AH450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 40.00 449-AH 42.19
425-AH 10.81 450-AH 0.00
573
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.ALLTRANST AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 11
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title
Relevant retrieved 1,491 Pooled false
Geometric Mean Average Precision 0.0237 all translations title
Binary Preference (BPREF) 0.2719
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 50.54 ALLTRANST
10 41.11 90%
20 36.34
80%
30 33.94
40 32.31 70%
50 30.34
60%
60 22.88
Precision
70 18.42 50%
80 14.68 40%
90 10.94
30%
100 4.92
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
25.67 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9167
Minimum 0.0000
First Quartile 0.0033
Second Quartile 0.1524
Third Quartile 0.4725
Interquartile range 0.4692 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2567
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2904 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.9167
Mean With No Outliers 0.2567 10
Std With No Outliers 0.2904
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ALLTRANST
0.8
401-AH 47.25 426-AH 17.74 0.6
402-AH 39.63 427-AH 0.00 0.4
403-AH 0.83 428-AH 1.29 0.2
Difference
404-AH 33.33 429-AH 16.03 0
405-AH 35.96 430-AH 0.00 −0.2
−0.4
406-AH 19.11 431-AH 78.04
−0.6
407-AH 6.11 432-AH 0.38
−0.8
408-AH 0.47 433-AH 77.64
−1
409-AH 1.50 434-AH 87.75 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 76.01 435-AH 72.44
411-AH 7.93 436-AH 12.95
412-AH 10.49 437-AH 0.15 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ALLTRANST
413-AH 30.43 438-AH 22.07 0.8
414-AH 57.92 439-AH 0.04 0.6
415-AH 16.84 440-AH 0.19 0.4
416-AH 74.61 441-AH 0.00 0.2
Difference
417-AH 18.88 442-AH 57.06 0
418-AH 0.02 443-AH 62.61 −0.2
−0.4
419-AH 0.00 444-AH 28.63
−0.6
420-AH 7.31 445-AH 47.20
−0.8
421-AH 0.33 446-AH 58.11
−1
422-AH 0.25 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.40 448-AH 91.67
424-AH 0.00 449-AH 51.60
425-AH 0.00 450-AH 14.45
574
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.ALLTRANST AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 31.60 ALLTRANST
10 docs 30.40 90%
15 docs 27.73
80%
20 docs 26.40
30 docs 24.20 70%
100 docs 14.58
60%
200 docs 9.65
Precision
500 docs 5.22 50%
1000 docs 2.98 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
25.58
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8198
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1800
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2558
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2786 25
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 20
Upper Outlier Threshold 0.8198
15
Mean With No Outliers 0.2558
10
Std With No Outliers 0.2786
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ALLTRANST
0.8
401-AH 50.00 426-AH 25.82 0.6
402-AH 38.71 427-AH 0.00 0.4
403-AH 1.45 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 16.95 0
405-AH 47.62 430-AH 0.00 −0.2
−0.4
406-AH 19.05 431-AH 75.00
−0.6
407-AH 8.70 432-AH 0.00
−0.8
408-AH 0.00 433-AH 72.16
−1
409-AH 0.00 434-AH 81.98 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 70.21 435-AH 65.79
411-AH 0.00 436-AH 20.51
412-AH 14.81 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ALLTRANST
413-AH 33.33 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 23.94 440-AH 0.00 0.4
416-AH 75.76 441-AH 0.00 0.2
Difference
417-AH 26.32 442-AH 58.33 0
418-AH 0.00 443-AH 61.90 −0.2
−0.4
419-AH 0.00 444-AH 40.00
−0.6
420-AH 8.70 445-AH 50.00
−0.8
421-AH 0.00 446-AH 58.33
−1
422-AH 0.98 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 57.81
425-AH 0.00 450-AH 26.67
575
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.ALLTRANSTD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 12
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,511 Pooled false
Geometric Mean Average Precision 0.0492 all translations title+description
Binary Preference (BPREF) 0.2959
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 55.73 ALLTRANSTD
10 47.21 90%
20 41.29
80%
30 37.81
40 33.04 70%
50 28.67
60%
60 22.52
Precision
70 18.46 50%
80 13.95 40%
90 9.47
30%
100 5.15
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.71 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8775
Minimum 0.0000
First Quartile 0.0228
Second Quartile 0.1870
Third Quartile 0.4456
Interquartile range 0.4228 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2671
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2530 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8775 10
Mean With No Outliers 0.2671
Std With No Outliers 0.2530 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries ALLTRANSTD
0.8
401-AH 32.67 426-AH 18.24 0.6
402-AH 39.63 427-AH 12.82 0.4
403-AH 4.46 428-AH 5.45 0.2
Difference
404-AH 25.00 429-AH 16.23 0
405-AH 44.56 430-AH 46.49 −0.2
−0.4
406-AH 35.44 431-AH 65.86
−0.6
407-AH 5.57 432-AH 0.00
−0.8
408-AH 0.42 433-AH 70.24
−1
409-AH 38.52 434-AH 87.75 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 71.24 435-AH 65.55
411-AH 7.12 436-AH 12.95
412-AH 10.49 437-AH 2.28 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
ALLTRANSTD
413-AH 30.31 438-AH 19.17 0.8
414-AH 50.63 439-AH 0.04 0.6
415-AH 31.29 440-AH 36.47 0.4
416-AH 52.55 441-AH 0.28 0.2
Difference
417-AH 0.00 442-AH 51.77 0
418-AH 43.03 443-AH 54.69 −0.2
−0.4
419-AH 8.56 444-AH 17.40
−0.6
420-AH 3.93 445-AH 52.68
−0.8
421-AH 0.46 446-AH 41.77
−1
422-AH 1.02 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.40 448-AH 80.42
424-AH 0.00 449-AH 39.30
425-AH 0.29 450-AH 0.00
576
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.ALLTRANSTD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 38.40 ALLTRANSTD
10 docs 34.60 90%
15 docs 31.20
80%
20 docs 28.80
30 docs 25.47 70%
100 docs 15.10
60%
200 docs 10.01
Precision
500 docs 5.38 50%
1000 docs 3.02 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.78
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8198
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2359
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2778
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2580 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8198
Mean With No Outliers 0.2778 10
Std With No Outliers 0.2580
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries ALLTRANSTD
0.8
401-AH 33.33 426-AH 26.76 0.6
402-AH 38.71 427-AH 0.00 0.4
403-AH 8.70 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 16.95 0
405-AH 52.38 430-AH 45.16 −0.2
−0.4
406-AH 42.86 431-AH 65.00
−0.6
407-AH 8.70 432-AH 0.00
−0.8
408-AH 0.00 433-AH 63.53
−1
409-AH 42.11 434-AH 81.98 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.09 435-AH 63.16
411-AH 0.00 436-AH 20.51
412-AH 14.81 437-AH 11.24 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
ALLTRANSTD
413-AH 33.33 438-AH 26.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 39.44 440-AH 44.44 0.4
416-AH 54.55 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 50.00 0
418-AH 35.71 443-AH 50.00 −0.2
−0.4
419-AH 4.35 444-AH 20.00
−0.6
420-AH 8.70 445-AH 75.00
−0.8
421-AH 0.00 446-AH 58.33
−1
422-AH 1.96 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 48.44
425-AH 0.00 450-AH 0.00
577
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.COOT AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 9
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,000 Source Language Chinese
Relevant 2,247 Topic Fields title
Relevant retrieved 1,497 Pooled false
Geometric Mean Average Precision 0.0273 co-occur title
Binary Preference (BPREF) 0.2617
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 47.94 COOT
10 41.98 90%
20 36.68
80%
30 34.21
40 32.34 70%
50 30.39
60%
60 24.63
Precision
70 19.92 50%
80 15.72 40%
90 11.50
30%
100 5.97
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.45 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8929
Minimum 0.0000
First Quartile 0.0038
Second Quartile 0.1454
Third Quartile 0.4762
Interquartile range 0.4724 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2645
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2927 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8929
Mean With No Outliers 0.2645 10
Std With No Outliers 0.2927
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries COOT
0.8
401-AH 47.25 426-AH 22.95 0.6
402-AH 1.38 427-AH 1.50 0.4
403-AH 0.01 428-AH 0.40 0.2
Difference
404-AH 50.00 429-AH 11.67 0
405-AH 35.96 430-AH 0.00 −0.2
−0.4
406-AH 2.22 431-AH 80.28
−0.6
407-AH 16.20 432-AH 0.38
−0.8
408-AH 11.22 433-AH 77.64
−1
409-AH 0.05 434-AH 84.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.92 435-AH 75.84
411-AH 7.04 436-AH 17.46
412-AH 0.81 437-AH 7.66 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
COOT
413-AH 36.75 438-AH 22.07 0.8
414-AH 11.32 439-AH 0.01 0.6
415-AH 47.33 440-AH 21.92 0.4
416-AH 74.61 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 57.06 0
418-AH 0.00 443-AH 62.61 −0.2
−0.4
419-AH 66.87 444-AH 19.40
−0.6
420-AH 14.63 445-AH 47.62
−0.8
421-AH 0.29 446-AH 40.95
−1
422-AH 8.85 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 89.29
424-AH 0.11 449-AH 51.60
425-AH 0.11 450-AH 14.45
578
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.COOT AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 30.80 COOT
10 docs 30.60 90%
15 docs 29.47
80%
20 docs 28.60
30 docs 26.47 70%
100 docs 15.66
60%
200 docs 10.15
Precision
500 docs 5.27 50%
1000 docs 2.99 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
26.17
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7872
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1969
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2617
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2766 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7872
Mean With No Outliers 0.2617 10
Std With No Outliers 0.2766
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries COOT
0.8
401-AH 50.00 426-AH 26.76 0.6
402-AH 0.00 427-AH 6.25 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 15.25 0
405-AH 47.62 430-AH 0.00 −0.2
−0.4
406-AH 4.76 431-AH 70.00
−0.6
407-AH 26.09 432-AH 0.00
−0.8
408-AH 22.22 433-AH 72.16
−1
409-AH 0.00 434-AH 74.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.72 435-AH 68.42
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 17.16 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
COOT
413-AH 40.00 438-AH 23.33 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 50.70 440-AH 22.22 0.4
416-AH 75.76 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 58.33 0
418-AH 0.00 443-AH 61.90 −0.2
−0.4
419-AH 65.22 444-AH 24.00
−0.6
420-AH 15.22 445-AH 50.00
−0.8
421-AH 0.00 446-AH 41.67
−1
422-AH 14.71 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 57.81
425-AH 2.70 450-AH 26.67
579
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.COOTD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 10
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,610 Pooled false
Geometric Mean Average Precision 0.0704 co-occur title+description
Binary Preference (BPREF) 0.2977
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.84 COOTD
10 46.40 90%
20 40.37
80%
30 37.47
40 35.02 70%
50 31.74
60%
60 24.05
Precision
70 18.46 50%
80 13.81 40%
90 9.02
30%
100 4.93
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
27.48 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9167
Minimum 0.0000
First Quartile 0.0479
Second Quartile 0.1994
Third Quartile 0.5000
Interquartile range 0.4521 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2748
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2578 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9167 10
Mean With No Outliers 0.2748
Std With No Outliers 0.2578 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries COOTD
0.8
401-AH 29.88 426-AH 22.35 0.6
402-AH 1.38 427-AH 12.78 0.4
403-AH 0.90 428-AH 1.07 0.2
Difference
404-AH 50.00 429-AH 26.34 0
405-AH 34.27 430-AH 55.27 −0.2
−0.4
406-AH 16.62 431-AH 12.06
−0.6
407-AH 46.11 432-AH 0.21
−0.8
408-AH 4.79 433-AH 70.27
−1
409-AH 17.31 434-AH 84.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 69.49 435-AH 68.34
411-AH 6.55 436-AH 17.46
412-AH 0.81 437-AH 0.28 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
COOTD
413-AH 34.18 438-AH 19.90 0.8
414-AH 50.24 439-AH 0.01 0.6
415-AH 22.94 440-AH 47.13 0.4
416-AH 53.41 441-AH 5.58 0.2
Difference
417-AH 8.53 442-AH 57.45 0
418-AH 26.68 443-AH 54.69 −0.2
−0.4
419-AH 4.84 444-AH 26.13
−0.6
420-AH 19.98 445-AH 61.01
−0.8
421-AH 0.40 446-AH 62.18
−1
422-AH 3.90 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 91.67
424-AH 0.00 449-AH 47.31
425-AH 17.18 450-AH 9.42
580
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.COOTD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 35.20 COOTD
10 docs 32.20 90%
15 docs 29.73
80%
20 docs 28.80
30 docs 25.87 70%
100 docs 15.80
60%
200 docs 10.80
Precision
500 docs 5.70 50%
1000 docs 3.22 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.84
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2321
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2784
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2495 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7500 10
Mean With No Outliers 0.2784
Std With No Outliers 0.2495 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries COOTD
0.8
401-AH 50.00 426-AH 32.86 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 20.34 0
405-AH 52.38 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 20.00
−0.6
407-AH 47.83 432-AH 0.00
−0.8
408-AH 0.00 433-AH 63.53
−1
409-AH 21.05 434-AH 74.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 67.54
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 1.18 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
COOTD
413-AH 33.33 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 30.99 440-AH 55.56 0.4
416-AH 51.52 441-AH 11.11 0.2
Difference
417-AH 8.42 442-AH 58.33 0
418-AH 28.57 443-AH 50.00 −0.2
−0.4
419-AH 0.00 444-AH 40.00
−0.6
420-AH 28.26 445-AH 50.00
−0.8
421-AH 0.00 446-AH 58.33
−1
422-AH 11.76 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 53.12
425-AH 24.32 450-AH 20.00
581
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWOT AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,000 Source Language Chinese
Relevant 2,247 Topic Fields title
Relevant retrieved 1,605 Pooled false
Geometric Mean Average Precision 0.0562 graph-unweight+oov title
Binary Preference (BPREF) 0.3400
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 54.52 GRAUWOT
10 50.72 90%
20 47.52
80%
30 44.80
40 42.45 70%
50 39.56
60%
60 31.83
Precision
70 26.70 50%
80 20.74 40%
90 16.37
30%
100 10.68
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.20 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9500
Minimum 0.0000
First Quartile 0.0222
Second Quartile 0.2818
Third Quartile 0.6261
Interquartile range 0.6039 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3420
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3070 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9500 10
Mean With No Outliers 0.3420
Std With No Outliers 0.3070 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWOT
0.8
401-AH 47.25 426-AH 22.95 0.6
402-AH 1.34 427-AH 34.56 0.4
403-AH 0.01 428-AH 0.75 0.2
Difference
404-AH 50.00 429-AH 11.67 0
405-AH 35.96 430-AH 0.00 −0.2
−0.4
406-AH 2.22 431-AH 80.28
−0.6
407-AH 16.20 432-AH 33.41
−0.8
408-AH 15.19 433-AH 77.64
−1
409-AH 37.52 434-AH 81.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 82.33 435-AH 75.84
411-AH 8.06 436-AH 6.62
412-AH 0.22 437-AH 69.35 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAUWOT
413-AH 15.01 438-AH 22.07 0.8
414-AH 68.57 439-AH 0.00 0.6
415-AH 47.33 440-AH 9.17 0.4
416-AH 74.61 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 57.06 0
418-AH 46.53 443-AH 62.61 −0.2
−0.4
419-AH 78.67 444-AH 19.93
−0.6
420-AH 14.63 445-AH 47.62
−0.8
421-AH 65.26 446-AH 41.44
−1
422-AH 0.07 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 95.00
424-AH 0.11 449-AH 51.60
425-AH 0.11 450-AH 14.45
582
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWOT AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 40.00 GRAUWOT
10 docs 36.80 90%
15 docs 34.67
80%
20 docs 33.00
30 docs 29.67 70%
100 docs 17.64
60%
200 docs 11.61
Precision
500 docs 5.83 50%
1000 docs 3.21 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.96
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0098
Second Quartile 0.2671
Third Quartile 0.5833
Interquartile range 0.5735 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3296
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2827 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.3296
Std With No Outliers 0.2827 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWOT
0.8
401-AH 50.00 426-AH 26.76 0.6
402-AH 0.00 427-AH 31.25 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 15.25 0
405-AH 47.62 430-AH 0.00 −0.2
−0.4
406-AH 4.76 431-AH 70.00
−0.6
407-AH 26.09 432-AH 33.33
−0.8
408-AH 16.67 433-AH 72.16
−1
409-AH 47.37 434-AH 72.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.72 435-AH 68.42
411-AH 0.00 436-AH 11.54
412-AH 0.00 437-AH 66.86 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAUWOT
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 50.70 440-AH 11.11 0.4
416-AH 75.76 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 58.33 0
418-AH 50.00 443-AH 61.90 −0.2
−0.4
419-AH 69.57 444-AH 20.00
−0.6
420-AH 15.22 445-AH 50.00
−0.8
421-AH 58.33 446-AH 41.67
−1
422-AH 0.98 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 57.81
425-AH 2.70 450-AH 26.67
583
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWOTD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 8
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,766 Pooled false
Geometric Mean Average Precision 0.1018 graph-unweight+oov title+description
Binary Preference (BPREF) 0.3546
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 63.27 GRAUWOTD
10 50.51 90%
20 48.81
80%
30 44.57
40 41.21 70%
50 37.22
60%
60 28.85
Precision
70 22.86 50%
80 18.84 40%
90 14.21
30%
100 10.03
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
32.79 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9500
Minimum 0.0000
First Quartile 0.0662
Second Quartile 0.2992
Third Quartile 0.5158
Interquartile range 0.4496 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3279
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2734 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.9500
6
Mean With No Outliers 0.3279
4
Std With No Outliers 0.2734
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWOTD
0.8
401-AH 29.82 426-AH 21.86 0.6
402-AH 1.34 427-AH 19.56 0.4
403-AH 1.33 428-AH 6.55 0.2
Difference
404-AH 50.00 429-AH 16.88 0
405-AH 40.28 430-AH 43.35 −0.2
−0.4
406-AH 13.28 431-AH 8.54
−0.6
407-AH 0.52 432-AH 32.44
−0.8
408-AH 6.60 433-AH 68.99
−1
409-AH 30.37 434-AH 81.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.46 435-AH 62.86
411-AH 5.33 436-AH 6.62
412-AH 0.22 437-AH 75.97 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAUWOTD
413-AH 39.52 438-AH 24.25 0.8
414-AH 51.97 439-AH 0.00 0.6
415-AH 22.94 440-AH 30.02 0.4
416-AH 51.58 441-AH 0.19 0.2
Difference
417-AH 9.18 442-AH 57.20 0
418-AH 47.89 443-AH 54.69 −0.2
−0.4
419-AH 83.58 444-AH 41.84
−0.6
420-AH 19.98 445-AH 47.62
−0.8
421-AH 62.46 446-AH 45.24
−1
422-AH 0.73 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 95.00
424-AH 0.00 449-AH 47.31
425-AH 17.18 450-AH 9.42
584
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWOTD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 40.00 GRAUWOTD
10 docs 35.80 90%
15 docs 33.73
80%
20 docs 31.20
30 docs 28.20 70%
100 docs 17.96
60%
200 docs 12.04
Precision
500 docs 6.34 50%
1000 docs 3.53 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
33.02
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0909
Second Quartile 0.3075
Third Quartile 0.5312
Interquartile range 0.4403 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3302
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2568 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.3302
Std With No Outliers 0.2568 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWOTD
0.8
401-AH 50.00 426-AH 30.52 0.6
402-AH 0.00 427-AH 12.50 0.4
403-AH 4.35 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 52.38 430-AH 45.16 −0.2
−0.4
406-AH 19.05 431-AH 10.00
−0.6
407-AH 0.00 432-AH 29.17
−0.8
408-AH 0.00 433-AH 65.10
−1
409-AH 31.58 434-AH 72.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 61.40
411-AH 0.00 436-AH 11.54
412-AH 0.00 437-AH 72.78 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAUWOTD
413-AH 53.33 438-AH 26.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 30.99 440-AH 33.33 0.4
416-AH 54.55 441-AH 0.00 0.2
Difference
417-AH 20.00 442-AH 58.33 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 65.22 444-AH 44.00
−0.6
420-AH 28.26 445-AH 50.00
−0.8
421-AH 50.00 446-AH 58.33
−1
422-AH 0.98 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 53.12
425-AH 24.32 450-AH 20.00
585
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWT AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,000 Source Language Chinese
Relevant 2,247 Topic Fields title
Relevant retrieved 1,396 Pooled false
Geometric Mean Average Precision 0.0246 graph-unweight title
Binary Preference (BPREF) 0.2733
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 44.83 GRAUWT
10 41.02 90%
20 37.74
80%
30 35.40
40 33.71 70%
50 31.67
60%
60 25.31
Precision
70 20.84 50%
80 15.77 40%
90 12.47
30%
100 7.54
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
27.11 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9500
Minimum 0.0000
First Quartile 0.0022
Second Quartile 0.1482
Third Quartile 0.5000
Interquartile range 0.4978 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2711
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.3007 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.9500
Mean With No Outliers 0.2711 10
Std With No Outliers 0.3007
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWT
0.8
401-AH 47.25 426-AH 22.95 0.6
402-AH 1.34 427-AH 26.63 0.4
403-AH 0.01 428-AH 0.75 0.2
Difference
404-AH 50.00 429-AH 11.67 0
405-AH 35.96 430-AH 0.00 −0.2
−0.4
406-AH 2.22 431-AH 80.28
−0.6
407-AH 16.20 432-AH 0.38
−0.8
408-AH 15.19 433-AH 77.64
−1
409-AH 4.06 434-AH 81.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 82.33 435-AH 75.84
411-AH 8.06 436-AH 6.62
412-AH 0.22 437-AH 0.05 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAUWT
413-AH 15.01 438-AH 22.07 0.8
414-AH 68.57 439-AH 0.00 0.6
415-AH 47.33 440-AH 9.17 0.4
416-AH 74.61 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 57.06 0
418-AH 0.00 443-AH 62.61 −0.2
−0.4
419-AH 66.87 444-AH 19.93
−0.6
420-AH 14.63 445-AH 47.62
−0.8
421-AH 0.56 446-AH 41.44
−1
422-AH 0.07 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 95.00
424-AH 0.11 449-AH 51.60
425-AH 0.11 450-AH 14.45
586
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWT AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 30.40 GRAUWT
10 docs 29.40 90%
15 docs 27.87
80%
20 docs 27.20
30 docs 24.67 70%
100 docs 14.92
60%
200 docs 9.76
Precision
500 docs 4.99 50%
1000 docs 2.79 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
26.19
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7872
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1596
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2619
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2783 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7872
Mean With No Outliers 0.2619 10
Std With No Outliers 0.2783
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWT
0.8
401-AH 50.00 426-AH 26.76 0.6
402-AH 0.00 427-AH 31.25 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 15.25 0
405-AH 47.62 430-AH 0.00 −0.2
−0.4
406-AH 4.76 431-AH 70.00
−0.6
407-AH 26.09 432-AH 0.00
−0.8
408-AH 16.67 433-AH 72.16
−1
409-AH 5.26 434-AH 72.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.72 435-AH 68.42
411-AH 0.00 436-AH 11.54
412-AH 0.00 437-AH 0.00 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAUWT
413-AH 26.67 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 50.70 440-AH 11.11 0.4
416-AH 75.76 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 58.33 0
418-AH 0.00 443-AH 61.90 −0.2
−0.4
419-AH 65.22 444-AH 20.00
−0.6
420-AH 15.22 445-AH 50.00
−0.8
421-AH 0.00 446-AH 41.67
−1
422-AH 0.98 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 57.81
425-AH 2.70 450-AH 26.67
587
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWTD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,680 Pooled false
Geometric Mean Average Precision 0.0571 graph-unweight title+description
Binary Preference (BPREF) 0.2929
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 54.50 GRAUWTD
10 42.97 90%
20 40.51
80%
30 35.81
40 32.78 70%
50 29.59
60%
60 22.72
Precision
70 16.91 50%
80 13.06 40%
90 9.27
30%
100 6.01
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.06 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9500
Minimum 0.0000
First Quartile 0.0164
Second Quartile 0.2092
Third Quartile 0.4682
Interquartile range 0.4518 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2606
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2482 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9500 10
Mean With No Outliers 0.2606
Std With No Outliers 0.2482 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWTD
0.8
401-AH 29.82 426-AH 21.86 0.6
402-AH 1.34 427-AH 12.78 0.4
403-AH 1.33 428-AH 6.55 0.2
Difference
404-AH 50.00 429-AH 16.88 0
405-AH 40.28 430-AH 46.82 −0.2
−0.4
406-AH 25.60 431-AH 8.54
−0.6
407-AH 0.52 432-AH 0.03
−0.8
408-AH 6.60 433-AH 68.39
−1
409-AH 27.59 434-AH 81.23 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 68.46 435-AH 62.86
411-AH 5.33 436-AH 6.62
412-AH 0.22 437-AH 18.38 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAUWTD
413-AH 39.52 438-AH 24.25 0.8
414-AH 51.97 439-AH 0.00 0.6
415-AH 22.94 440-AH 30.02 0.4
416-AH 51.58 441-AH 0.19 0.2
Difference
417-AH 9.18 442-AH 57.20 0
418-AH 26.68 443-AH 54.69 −0.2
−0.4
419-AH 1.64 444-AH 41.84
−0.6
420-AH 19.98 445-AH 47.62
−0.8
421-AH 1.30 446-AH 45.24
−1
422-AH 0.26 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 95.00
424-AH 0.00 449-AH 47.31
425-AH 17.18 450-AH 9.42
588
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAUWTD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 33.20 GRAUWTD
10 docs 28.60 90%
15 docs 27.47
80%
20 docs 26.00
30 docs 23.73 70%
100 docs 15.58
60%
200 docs 10.69
Precision
500 docs 5.83 50%
1000 docs 3.36 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.14
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2550
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2714
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2467 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7500
Mean With No Outliers 0.2714 10
Std With No Outliers 0.2467
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAUWTD
0.8
401-AH 50.00 426-AH 30.52 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 4.35 428-AH 9.09 0.2
Difference
404-AH 0.00 429-AH 22.03 0
405-AH 52.38 430-AH 51.61 −0.2
−0.4
406-AH 23.81 431-AH 10.00
−0.6
407-AH 0.00 432-AH 0.00
−0.8
408-AH 0.00 433-AH 63.53
−1
409-AH 31.58 434-AH 72.07 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 61.40
411-AH 0.00 436-AH 11.54
412-AH 0.00 437-AH 30.18 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAUWTD
413-AH 53.33 438-AH 26.67 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 30.99 440-AH 33.33 0.4
416-AH 54.55 441-AH 0.00 0.2
Difference
417-AH 20.00 442-AH 58.33 0
418-AH 28.57 443-AH 50.00 −0.2
−0.4
419-AH 0.00 444-AH 44.00
−0.6
420-AH 28.26 445-AH 50.00
−0.8
421-AH 0.00 446-AH 58.33
−1
422-AH 1.96 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 53.12
425-AH 24.32 450-AH 20.00
589
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWOT AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,000 Source Language Chinese
Relevant 2,247 Topic Fields title
Relevant retrieved 1,648 Pooled false
Geometric Mean Average Precision 0.0649 graph-weight+oov title
Binary Preference (BPREF) 0.3264
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.14 GRAWOT
10 51.26 90%
20 46.36
80%
30 43.22
40 40.89 70%
50 37.97
60%
60 30.95
Precision
70 25.80 50%
80 20.77 40%
90 15.60
30%
100 9.16
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
33.37 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8929
Minimum 0.0000
First Quartile 0.0704
Second Quartile 0.2251
Third Quartile 0.5706
Interquartile range 0.5002 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3337
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2971 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8929 10
Mean With No Outliers 0.3337
Std With No Outliers 0.2971 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWOT
0.8
401-AH 47.25 426-AH 22.95 0.6
402-AH 1.38 427-AH 34.56 0.4
403-AH 0.01 428-AH 0.40 0.2
Difference
404-AH 50.00 429-AH 11.67 0
405-AH 35.96 430-AH 0.00 −0.2
−0.4
406-AH 2.22 431-AH 80.28
−0.6
407-AH 16.20 432-AH 33.41
−0.8
408-AH 11.22 433-AH 77.64
−1
409-AH 16.00 434-AH 84.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.92 435-AH 75.84
411-AH 7.04 436-AH 17.46
412-AH 0.81 437-AH 61.90 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAWOT
413-AH 36.75 438-AH 22.07 0.8
414-AH 11.32 439-AH 0.01 0.6
415-AH 47.33 440-AH 21.92 0.4
416-AH 74.61 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 57.06 0
418-AH 46.53 443-AH 62.61 −0.2
−0.4
419-AH 77.73 444-AH 19.40
−0.6
420-AH 14.63 445-AH 47.62
−0.8
421-AH 65.26 446-AH 40.95
−1
422-AH 8.85 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 89.29
424-AH 0.11 449-AH 51.60
425-AH 0.11 450-AH 14.45
590
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWOT AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 40.40 GRAWOT
10 docs 38.40 90%
15 docs 35.60
80%
20 docs 33.80
30 docs 30.87 70%
100 docs 18.14
60%
200 docs 11.75
Precision
500 docs 5.97 50%
1000 docs 3.30 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
32.58
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2649
Third Quartile 0.5833
Interquartile range 0.5833 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3258
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2775 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8333 10
Mean With No Outliers 0.3258
Std With No Outliers 0.2775 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWOT
0.8
401-AH 50.00 426-AH 26.76 0.6
402-AH 0.00 427-AH 31.25 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 15.25 0
405-AH 47.62 430-AH 0.00 −0.2
−0.4
406-AH 4.76 431-AH 70.00
−0.6
407-AH 26.09 432-AH 33.33
−0.8
408-AH 22.22 433-AH 72.16
−1
409-AH 26.32 434-AH 74.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.72 435-AH 68.42
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 61.54 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAWOT
413-AH 40.00 438-AH 23.33 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 50.70 440-AH 22.22 0.4
416-AH 75.76 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 58.33 0
418-AH 50.00 443-AH 61.90 −0.2
−0.4
419-AH 65.22 444-AH 24.00
−0.6
420-AH 15.22 445-AH 50.00
−0.8
421-AH 58.33 446-AH 41.67
−1
422-AH 14.71 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 57.81
425-AH 2.70 450-AH 26.67
591
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWOTD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 7
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,789 Pooled false
Geometric Mean Average Precision 0.1329 graph-weight+oov title+description
Binary Preference (BPREF) 0.3663
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 68.19 GRAWOTD
10 56.50 90%
20 50.63
80%
30 46.78
40 43.26 70%
50 39.21
60%
60 30.21
Precision
70 24.93 50%
80 19.29 40%
90 13.44
30%
100 8.34
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
34.56 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9167
Minimum 0.0000
First Quartile 0.0942
Second Quartile 0.2972
Third Quartile 0.5469
Interquartile range 0.4527 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.3456
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2661 8
Number of Topics of the Experiment
7
Lower Outlier Threshold 0.0000
6
Upper Outlier Threshold 0.9167 5
Mean With No Outliers 0.3456 4
3
Std With No Outliers 0.2661
2
1
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWOTD
0.8
401-AH 29.88 426-AH 22.35 0.6
402-AH 1.38 427-AH 19.56 0.4
403-AH 0.90 428-AH 1.07 0.2
Difference
404-AH 50.00 429-AH 26.34 0
405-AH 34.27 430-AH 43.35 −0.2
−0.4
406-AH 16.62 431-AH 12.06
−0.6
407-AH 46.11 432-AH 38.43
−0.8
408-AH 4.79 433-AH 73.71
−1
409-AH 29.57 434-AH 84.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 69.49 435-AH 68.34
411-AH 6.55 436-AH 17.46
412-AH 0.81 437-AH 73.11 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAWOTD
413-AH 34.18 438-AH 19.90 0.8
414-AH 50.24 439-AH 0.01 0.6
415-AH 22.94 440-AH 47.13 0.4
416-AH 53.41 441-AH 5.58 0.2
Difference
417-AH 8.53 442-AH 57.45 0
418-AH 47.89 443-AH 54.69 −0.2
−0.4
419-AH 65.53 444-AH 26.13
−0.6
420-AH 19.98 445-AH 61.01
−0.8
421-AH 60.31 446-AH 62.18
−1
422-AH 7.31 447-AH 87.34 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 91.67
424-AH 0.00 449-AH 47.31
425-AH 17.18 450-AH 9.42
592
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWOTD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 42.00 GRAWOTD
10 docs 40.00 90%
15 docs 36.53
80%
20 docs 34.60
30 docs 31.13 70%
100 docs 18.94
60%
200 docs 12.70
Precision
500 docs 6.49 50%
1000 docs 3.58 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
34.89
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8333
Minimum 0.0000
First Quartile 0.1250
Second Quartile 0.3310
Third Quartile 0.5238
Interquartile range 0.3988 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.3489
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2524 10
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 8
Upper Outlier Threshold 0.8333
6
Mean With No Outliers 0.3489
4
Std With No Outliers 0.2524
2
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWOTD
0.8
401-AH 50.00 426-AH 32.86 0.6
402-AH 0.00 427-AH 12.50 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 20.34 0
405-AH 52.38 430-AH 45.16 −0.2
−0.4
406-AH 19.05 431-AH 20.00
−0.6
407-AH 47.83 432-AH 33.33
−0.8
408-AH 0.00 433-AH 68.24
−1
409-AH 31.58 434-AH 74.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 67.54
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 70.41 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAWOTD
413-AH 33.33 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 30.99 440-AH 55.56 0.4
416-AH 51.52 441-AH 11.11 0.2
Difference
417-AH 8.42 442-AH 58.33 0
418-AH 50.00 443-AH 50.00 −0.2
−0.4
419-AH 73.91 444-AH 40.00
−0.6
420-AH 28.26 445-AH 50.00
−0.8
421-AH 50.00 446-AH 58.33
−1
422-AH 18.63 447-AH 83.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 53.12
425-AH 24.32 450-AH 20.00
593
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWT AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 49,000 Source Language Chinese
Relevant 2,247 Topic Fields title
Relevant retrieved 1,497 Pooled true
Geometric Mean Average Precision 0.0273 graph-weight title
Binary Preference (BPREF) 0.2617
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 47.94 GRAWT
10 41.98 90%
20 36.68
80%
30 34.21
40 32.34 70%
50 30.39
60%
60 24.63
Precision
70 19.92 50%
80 15.72 40%
90 11.50
30%
100 5.97
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
26.45 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.8929
Minimum 0.0000
First Quartile 0.0038
Second Quartile 0.1454
Third Quartile 0.4762
Interquartile range 0.4724 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2645
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2927 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8929
Mean With No Outliers 0.2645 10
Std With No Outliers 0.2927
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWT
0.8
401-AH 47.25 426-AH 22.95 0.6
402-AH 1.38 427-AH 1.50 0.4
403-AH 0.01 428-AH 0.40 0.2
Difference
404-AH 50.00 429-AH 11.67 0
405-AH 35.96 430-AH 0.00 −0.2
−0.4
406-AH 2.22 431-AH 80.28
−0.6
407-AH 16.20 432-AH 0.38
−0.8
408-AH 11.22 433-AH 77.64
−1
409-AH 0.05 434-AH 84.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 81.92 435-AH 75.84
411-AH 7.04 436-AH 17.46
412-AH 0.81 437-AH 7.66 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAWT
413-AH 36.75 438-AH 22.07 0.8
414-AH 11.32 439-AH 0.01 0.6
415-AH 47.33 440-AH 21.92 0.4
416-AH 74.61 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 57.06 0
418-AH 0.00 443-AH 62.61 −0.2
−0.4
419-AH 66.87 444-AH 19.40
−0.6
420-AH 14.63 445-AH 47.62
−0.8
421-AH 0.29 446-AH 40.95
−1
422-AH 8.85 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 89.29
424-AH 0.11 449-AH 51.60
425-AH 0.11 450-AH 14.45
594
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWT AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 30.80 GRAWT
10 docs 30.60 90%
15 docs 29.47
80%
20 docs 28.60
30 docs 26.47 70%
100 docs 15.66
60%
200 docs 10.15
Precision
500 docs 5.27 50%
1000 docs 2.99 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
26.17
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7872
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.1969
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2617
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2766 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.7872
Mean With No Outliers 0.2617 10
Std With No Outliers 0.2766
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWT
0.8
401-AH 50.00 426-AH 26.76 0.6
402-AH 0.00 427-AH 6.25 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 15.25 0
405-AH 47.62 430-AH 0.00 −0.2
−0.4
406-AH 4.76 431-AH 70.00
−0.6
407-AH 26.09 432-AH 0.00
−0.8
408-AH 22.22 433-AH 72.16
−1
409-AH 0.00 434-AH 74.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 78.72 435-AH 68.42
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 17.16 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAWT
413-AH 40.00 438-AH 23.33 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 50.70 440-AH 22.22 0.4
416-AH 75.76 441-AH 0.00 0.2
Difference
417-AH 0.00 442-AH 58.33 0
418-AH 0.00 443-AH 61.90 −0.2
−0.4
419-AH 65.22 444-AH 24.00
−0.6
420-AH 15.22 445-AH 50.00
−0.8
421-AH 0.00 446-AH 41.67
−1
422-AH 14.71 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 57.81
425-AH 2.70 450-AH 26.67
595
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWTD AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Chinese
Relevant 2,247 Topic Fields title, description
Relevant retrieved 1,610 Pooled false
Geometric Mean Average Precision 0.0704 graph-weight title+description
Binary Preference (BPREF) 0.2977
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 56.84 GRAWTD
10 46.40 90%
20 40.37
80%
30 37.47
40 35.02 70%
50 31.74
60%
60 24.05
Precision
70 18.46 50%
80 13.81 40%
90 9.02
30%
100 4.93
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
27.48 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9167
Minimum 0.0000
First Quartile 0.0479
Second Quartile 0.1994
Third Quartile 0.5000
Interquartile range 0.4521 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2748
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2578 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9167 10
Mean With No Outliers 0.2748
Std With No Outliers 0.2578 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWTD
0.8
401-AH 29.88 426-AH 22.35 0.6
402-AH 1.38 427-AH 12.78 0.4
403-AH 0.90 428-AH 1.07 0.2
Difference
404-AH 50.00 429-AH 26.34 0
405-AH 34.27 430-AH 55.27 −0.2
−0.4
406-AH 16.62 431-AH 12.06
−0.6
407-AH 46.11 432-AH 0.21
−0.8
408-AH 4.79 433-AH 70.27
−1
409-AH 17.31 434-AH 84.60 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 69.49 435-AH 68.34
411-AH 6.55 436-AH 17.46
412-AH 0.81 437-AH 0.28 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
GRAWTD
413-AH 34.18 438-AH 19.90 0.8
414-AH 50.24 439-AH 0.01 0.6
415-AH 22.94 440-AH 47.13 0.4
416-AH 53.41 441-AH 5.58 0.2
Difference
417-AH 8.53 442-AH 57.45 0
418-AH 26.68 443-AH 54.69 −0.2
−0.4
419-AH 4.84 444-AH 26.13
−0.6
420-AH 19.98 445-AH 61.01
−0.8
421-AH 0.40 446-AH 62.18
−1
422-AH 3.90 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 91.67
424-AH 0.00 449-AH 47.31
425-AH 17.18 450-AH 9.42
596
nottingham 10.2415/AH-BILI-X2EN-CLEF2007.NOTTINGHAM.GRAWTD AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 35.20 GRAWTD
10 docs 32.20 90%
15 docs 29.73
80%
20 docs 28.80
30 docs 25.87 70%
100 docs 15.80
60%
200 docs 10.80
Precision
500 docs 5.70 50%
1000 docs 3.22 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
27.84
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7500
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2321
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2784
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2495 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.7500 10
Mean With No Outliers 0.2784
Std With No Outliers 0.2495 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries GRAWTD
0.8
401-AH 50.00 426-AH 32.86 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 5.80 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 20.34 0
405-AH 52.38 430-AH 58.06 −0.2
−0.4
406-AH 19.05 431-AH 20.00
−0.6
407-AH 47.83 432-AH 0.00
−0.8
408-AH 0.00 433-AH 63.53
−1
409-AH 21.05 434-AH 74.77 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 72.34 435-AH 67.54
411-AH 0.00 436-AH 23.08
412-AH 0.00 437-AH 1.18 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
GRAWTD
413-AH 33.33 438-AH 23.33 0.8
414-AH 50.00 439-AH 0.00 0.6
415-AH 30.99 440-AH 55.56 0.4
416-AH 51.52 441-AH 11.11 0.2
Difference
417-AH 8.42 442-AH 58.33 0
418-AH 28.57 443-AH 50.00 −0.2
−0.4
419-AH 0.00 444-AH 40.00
−0.6
420-AH 28.26 445-AH 50.00
−0.8
421-AH 0.00 446-AH 58.33
−1
422-AH 11.76 447-AH 0.00 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 0.00 449-AH 53.12
425-AH 24.32 450-AH 20.00
597
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN1 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 880 Pooled true
Geometric Mean Average Precision 0.0052 Maximal expansion of terms
Binary Preference (BPREF) 0.0940
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 17.90 DSV_AMH_BLNG_RUN1
10 15.62 90%
20 13.08
80%
30 11.08
40 9.33 70%
50 7.68
60%
60 6.02
Precision
70 5.02 50%
80 3.58 40%
90 2.54
30%
100 2.16
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.77 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6975
Minimum 0.0000
First Quartile 0.0009
Second Quartile 0.0045
Third Quartile 0.0662
Interquartile range 0.0653 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0777
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1497 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1191 25
Mean With No Outliers 0.0155 20
15
Std With No Outliers 0.0277
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN1
0.8
401-AH 0.00 426-AH 6.62 0.6
402-AH 0.48 427-AH 0.00 0.4
403-AH 2.47 428-AH 0.30 0.2
Difference
404-AH 0.11 429-AH 0.78 0
405-AH 0.00 430-AH 0.03 −0.2
−0.4
406-AH 0.30 431-AH 0.34
−0.6
407-AH 31.84 432-AH 0.01
−0.8
408-AH 31.33 433-AH 39.15
−1
409-AH 17.59 434-AH 0.18 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 9.77 435-AH 0.43
411-AH 1.64 436-AH 0.02
412-AH 0.93 437-AH 22.51 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN1
413-AH 0.03 438-AH 4.16 0.8
414-AH 1.24 439-AH 0.12 0.6
415-AH 0.23 440-AH 0.01 0.4
416-AH 11.91 441-AH 2.67 0.2
Difference
417-AH 2.25 442-AH 30.99 0
418-AH 69.75 443-AH 0.26 −0.2
−0.4
419-AH 0.14 444-AH 5.61
−0.6
420-AH 2.29 445-AH 0.03
−0.8
421-AH 47.36 446-AH 0.32
−1
422-AH 0.09 447-AH 34.42 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 6.67
424-AH 0.37 449-AH 0.73
425-AH 0.01 450-AH 0.06
598
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN1 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 9.20 DSV_AMH_BLNG_RUN1
10 docs 9.60 90%
15 docs 9.73
80%
20 docs 9.50
30 docs 8.67 70%
100 docs 5.72
60%
200 docs 4.34
Precision
500 docs 2.67 50%
1000 docs 1.76 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.78
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6429
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0045
Third Quartile 0.1159
Interquartile range 0.1159 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0878
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1511 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.2105 25
Mean With No Outliers 0.0334 20
15
Std With No Outliers 0.0579
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN1
0.8
401-AH 0.00 426-AH 16.90 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 3.39 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 43.48 432-AH 0.00
−0.8
408-AH 38.89 433-AH 42.35
−1
409-AH 21.05 434-AH 0.90 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 12.77 435-AH 2.63
411-AH 0.00 436-AH 0.00
412-AH 7.41 437-AH 31.36 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN1
413-AH 0.00 438-AH 3.33 0.8
414-AH 0.00 439-AH 1.28 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 18.18 441-AH 0.00 0.2
Difference
417-AH 9.47 442-AH 33.33 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 4.00
−0.6
420-AH 6.52 445-AH 0.00
−0.8
421-AH 41.67 446-AH 0.00
−1
422-AH 0.00 447-AH 16.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 3.12
425-AH 0.00 450-AH 1.67
599
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN2 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 951 Pooled false
Geometric Mean Average Precision 0.0058 Maximal expansion of terms with pseudo relevance
Binary Preference (BPREF) 0.1138 feedback
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 23.55 DSV_AMH_BLNG_RUN2
10 20.06 90%
20 16.19
80%
30 13.86
40 11.86 70%
50 10.68
60%
60 7.83
Precision
70 6.61 50%
80 5.60 40%
90 4.35
30%
100 2.74
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
10.51 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6775
Minimum 0.0000
First Quartile 0.0009
Second Quartile 0.0042
Third Quartile 0.0879
Interquartile range 0.0870 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1051
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1915 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1378 25
Mean With No Outliers 0.0163 20
15
Std With No Outliers 0.0309
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN2
0.8
401-AH 0.00 426-AH 10.68 0.6
402-AH 0.42 427-AH 0.00 0.4
403-AH 2.87 428-AH 0.42 0.2
Difference
404-AH 0.10 429-AH 0.76 0
405-AH 0.00 430-AH 0.03 −0.2
−0.4
406-AH 0.29 431-AH 0.36
−0.6
407-AH 61.90 432-AH 0.01
−0.8
408-AH 40.00 433-AH 57.80
−1
409-AH 31.69 434-AH 0.21 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 13.78 435-AH 0.39
411-AH 4.07 436-AH 0.01
412-AH 2.47 437-AH 33.16 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN2
413-AH 0.03 438-AH 3.50 0.8
414-AH 1.26 439-AH 0.14 0.6
415-AH 0.19 440-AH 0.01 0.4
416-AH 28.83 441-AH 2.16 0.2
Difference
417-AH 2.33 442-AH 32.62 0
418-AH 67.75 443-AH 0.11 −0.2
−0.4
419-AH 0.16 444-AH 5.85
−0.6
420-AH 2.37 445-AH 0.04
−0.8
421-AH 51.93 446-AH 0.31
−1
422-AH 0.09 447-AH 54.37 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 8.79
424-AH 0.28 449-AH 0.76
425-AH 0.01 450-AH 0.06
600
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN2 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 13.60 DSV_AMH_BLNG_RUN2
10 docs 13.40 90%
15 docs 11.60
80%
20 docs 10.90
30 docs 9.80 70%
100 docs 6.80
60%
200 docs 4.99
Precision
500 docs 3.10 50%
1000 docs 1.90 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
10.44
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5714
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.1159
Interquartile range 0.1159 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1044
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1754 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.2727 25
Mean With No Outliers 0.0293 20
15
Std With No Outliers 0.0622
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN2
0.8
401-AH 0.00 426-AH 22.54 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 3.39 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 52.17 432-AH 0.00
−0.8
408-AH 44.44 433-AH 54.51
−1
409-AH 36.84 434-AH 1.80 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 17.02 435-AH 2.63
411-AH 0.00 436-AH 0.00
412-AH 7.41 437-AH 40.24 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN2
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 1.28 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 27.27 441-AH 0.00 0.2
Difference
417-AH 8.42 442-AH 33.33 0
418-AH 57.14 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 6.52 445-AH 0.00
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.98 447-AH 33.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 4.69
425-AH 0.00 450-AH 1.67
601
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN3 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 3
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description
Relevant retrieved 873 Pooled false
Geometric Mean Average Precision 0.0043 Maximal expansion of terms
Binary Preference (BPREF) 0.0928
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 22.15 DSV_AMH_BLNG_RUN3
10 14.33 90%
20 12.49
80%
30 10.01
40 8.32 70%
50 7.31
60%
60 6.26
Precision
70 5.62 50%
80 4.41 40%
90 3.10
30%
100 2.31
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
7.72 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6739
Minimum 0.0000
First Quartile 0.0005
Second Quartile 0.0052
Third Quartile 0.0648
Interquartile range 0.0643 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0772
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1459 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.0931 25
Mean With No Outliers 0.0138 20
15
Std With No Outliers 0.0236
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN3
0.8
401-AH 0.00 426-AH 6.48 0.6
402-AH 0.04 427-AH 0.00 0.4
403-AH 1.87 428-AH 0.26 0.2
Difference
404-AH 0.11 429-AH 0.51 0
405-AH 0.00 430-AH 0.05 −0.2
−0.4
406-AH 0.08 431-AH 0.23
−0.6
407-AH 37.47 432-AH 0.01
−0.8
408-AH 28.97 433-AH 48.76
−1
409-AH 22.70 434-AH 0.13 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 19.27 435-AH 0.11
411-AH 1.67 436-AH 0.00
412-AH 8.08 437-AH 17.88 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN3
413-AH 0.01 438-AH 4.99 0.8
414-AH 2.42 439-AH 0.07 0.6
415-AH 2.69 440-AH 0.00 0.4
416-AH 19.19 441-AH 2.80 0.2
Difference
417-AH 2.12 442-AH 35.74 0
418-AH 67.39 443-AH 0.01 −0.2
−0.4
419-AH 0.04 444-AH 5.80
−0.6
420-AH 2.60 445-AH 0.00
−0.8
421-AH 0.04 446-AH 0.24
−1
422-AH 0.53 447-AH 33.19 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.42 448-AH 9.31
424-AH 0.60 449-AH 0.85
425-AH 0.05 450-AH 0.16
602
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN3 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 10.80 DSV_AMH_BLNG_RUN3
10 docs 10.20 90%
15 docs 8.93
80%
20 docs 9.50
30 docs 8.87 70%
100 docs 5.74
60%
200 docs 4.30
Precision
500 docs 2.79 50%
1000 docs 1.75 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
8.21
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6429
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0870
Interquartile range 0.0870 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.0821
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1470 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.2105 25
Mean With No Outliers 0.0261 20
15
Std With No Outliers 0.0511
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN3
0.8
401-AH 0.00 426-AH 16.90 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 8.70 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 43.48 432-AH 0.00
−0.8
408-AH 33.33 433-AH 47.84
−1
409-AH 21.05 434-AH 2.70 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 27.66 435-AH 0.88
411-AH 0.00 436-AH 0.00
412-AH 7.41 437-AH 23.67 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN3
413-AH 0.00 438-AH 3.33 0.8
414-AH 0.00 439-AH 1.28 0.6
415-AH 7.04 440-AH 0.00 0.4
416-AH 27.27 441-AH 0.00 0.2
Difference
417-AH 7.37 442-AH 33.33 0
418-AH 64.29 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 8.70 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 2.94 447-AH 16.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 3.12
425-AH 0.00 450-AH 0.00
603
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN4 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 4
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description
Relevant retrieved 943 Pooled false
Geometric Mean Average Precision 0.0052 Maximal expansion of terms with pseudo relevance
Binary Preference (BPREF) 0.1240 feedback
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 26.74 DSV_AMH_BLNG_RUN4
10 19.33 90%
20 16.46
80%
30 13.97
40 11.79 70%
50 10.59
60%
60 9.08
Precision
70 8.16 50%
80 6.54 40%
90 4.79
30%
100 3.04
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
10.97 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6291
Minimum 0.0000
First Quartile 0.0006
Second Quartile 0.0053
Third Quartile 0.0557
Interquartile range 0.0551 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1097
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2017 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1160 25
Mean With No Outliers 0.0146 20
15
Std With No Outliers 0.0254
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN4
0.8
401-AH 0.00 426-AH 11.60 0.6
402-AH 0.09 427-AH 0.00 0.4
403-AH 3.13 428-AH 0.26 0.2
Difference
404-AH 0.10 429-AH 0.94 0
405-AH 0.00 430-AH 0.05 −0.2
−0.4
406-AH 0.14 431-AH 0.36
−0.6
407-AH 62.91 432-AH 0.01
−0.8
408-AH 50.13 433-AH 62.00
−1
409-AH 39.83 434-AH 0.12 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 50.40 435-AH 0.13
411-AH 4.27 436-AH 0.01
412-AH 5.10 437-AH 20.30 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN4
413-AH 0.01 438-AH 2.76 0.8
414-AH 1.81 439-AH 0.07 0.6
415-AH 3.88 440-AH 0.00 0.4
416-AH 44.19 441-AH 2.12 0.2
Difference
417-AH 2.24 442-AH 41.79 0
418-AH 61.85 443-AH 0.00 −0.2
−0.4
419-AH 0.06 444-AH 5.57
−0.6
420-AH 1.70 445-AH 0.00
−0.8
421-AH 0.03 446-AH 0.36
−1
422-AH 0.48 447-AH 56.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.36 448-AH 8.65
424-AH 0.58 449-AH 1.03
425-AH 0.04 450-AH 0.18
604
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN4 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 14.40 DSV_AMH_BLNG_RUN4
10 docs 15.20 90%
15 docs 13.07
80%
20 docs 12.10
30 docs 11.07 70%
100 docs 6.88
60%
200 docs 4.94
Precision
500 docs 3.04 50%
1000 docs 1.89 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
10.57
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6087
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0000
Third Quartile 0.0870
Interquartile range 0.0870 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1057
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1895 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1127 25
Mean With No Outliers 0.0123 20
15
Std With No Outliers 0.0283
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN4
0.8
401-AH 0.00 426-AH 22.54 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 8.70 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 1.69 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 60.87 432-AH 0.00
−0.8
408-AH 50.00 433-AH 59.22
−1
409-AH 36.84 434-AH 1.80 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 55.32 435-AH 0.88
411-AH 0.00 436-AH 0.00
412-AH 7.41 437-AH 27.22 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN4
413-AH 0.00 438-AH 0.00 0.8
414-AH 0.00 439-AH 1.28 0.6
415-AH 11.27 440-AH 0.00 0.4
416-AH 36.36 441-AH 0.00 0.2
Difference
417-AH 8.42 442-AH 41.67 0
418-AH 57.14 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 0.00
−0.6
420-AH 0.00 445-AH 0.00
−0.8
421-AH 0.00 446-AH 0.00
−1
422-AH 1.96 447-AH 33.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 4.69
425-AH 0.00 450-AH 0.00
605
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN5 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 5
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 868 Pooled false
Geometric Mean Average Precision 0.0083 First translation for WSD
Binary Preference (BPREF) 0.1137
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 21.79 DSV_AMH_BLNG_RUN5
10 17.24 90%
20 13.91
80%
30 11.24
40 9.28 70%
50 7.80
60%
60 6.44
Precision
70 5.06 50%
80 4.17 40%
90 3.16
30%
100 2.65
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
8.30 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7339
Minimum 0.0000
First Quartile 0.0012
Second Quartile 0.0084
Third Quartile 0.0891
Interquartile range 0.0879 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0830
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1466 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.1912 25
Mean With No Outliers 0.0286 20
15
Std With No Outliers 0.0471
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN5
0.8
401-AH 0.04 426-AH 7.21 0.6
402-AH 0.41 427-AH 0.00 0.4
403-AH 4.14 428-AH 0.43 0.2
Difference
404-AH 0.00 429-AH 0.84 0
405-AH 0.02 430-AH 0.29 −0.2
−0.4
406-AH 0.02 431-AH 0.34
−0.6
407-AH 31.84 432-AH 0.00
−0.8
408-AH 29.29 433-AH 28.09
−1
409-AH 26.09 434-AH 0.13 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 19.12 435-AH 0.61
411-AH 1.47 436-AH 0.35
412-AH 0.83 437-AH 12.24 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN5
413-AH 0.04 438-AH 8.91 0.8
414-AH 5.64 439-AH 0.08 0.6
415-AH 0.33 440-AH 0.02 0.4
416-AH 16.32 441-AH 0.40 0.2
Difference
417-AH 2.22 442-AH 25.00 0
418-AH 73.39 443-AH 3.13 −0.2
−0.4
419-AH 0.27 444-AH 7.89
−0.6
420-AH 8.43 445-AH 0.05
−0.8
421-AH 46.79 446-AH 1.49
−1
422-AH 0.08 447-AH 34.39 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.12 448-AH 11.09
424-AH 2.39 449-AH 2.24
425-AH 0.14 450-AH 0.11
606
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN5 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 12.40 DSV_AMH_BLNG_RUN5
10 docs 12.80 90%
15 docs 11.87
80%
20 docs 11.40
30 docs 10.13 70%
100 docs 6.02
60%
200 docs 4.28
Precision
500 docs 2.65 50%
1000 docs 1.74 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
10.18
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7143
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0173
Third Quartile 0.1667
Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1018
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1533 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.4167 20
Mean With No Outliers 0.0821 15
Std With No Outliers 0.1173 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN5
0.8
401-AH 0.00 426-AH 19.25 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 3.39 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 43.48 432-AH 0.00
−0.8
408-AH 33.33 433-AH 35.29
−1
409-AH 36.84 434-AH 1.80 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 25.53 435-AH 3.51
411-AH 0.00 436-AH 1.28
412-AH 7.41 437-AH 10.06 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN5
413-AH 0.00 438-AH 10.00 0.8
414-AH 0.00 439-AH 1.28 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 24.24 441-AH 0.00 0.2
Difference
417-AH 12.63 442-AH 25.00 0
418-AH 71.43 443-AH 9.52 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 17.39 445-AH 0.00
−0.8
421-AH 41.67 446-AH 0.00
−1
422-AH 0.98 447-AH 16.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 7.81
425-AH 0.00 450-AH 1.67
607
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN6 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 6
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,030 Pooled false
Geometric Mean Average Precision 0.0099 First translation for WSD with pseudo relevance
Binary Preference (BPREF) 0.1455 feedback
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 26.08 DSV_AMH_BLNG_RUN6
10 22.19 90%
20 18.57
80%
30 15.44
40 13.39 70%
50 11.66
60%
60 8.67
Precision
70 7.94 50%
80 6.67 40%
90 4.98
30%
100 3.57
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
11.76 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6443
Minimum 0.0000
First Quartile 0.0011
Second Quartile 0.0162
Third Quartile 0.1482
Interquartile range 0.1471 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1176
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1930 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.3506 25
Mean With No Outliers 0.0492 20
15
Std With No Outliers 0.0898
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN6
0.8
401-AH 0.04 426-AH 12.29 0.6
402-AH 0.53 427-AH 0.00 0.4
403-AH 4.58 428-AH 0.70 0.2
Difference
404-AH 0.00 429-AH 1.51 0
405-AH 0.02 430-AH 0.19 −0.2
−0.4
406-AH 0.02 431-AH 0.36
−0.6
407-AH 61.90 432-AH 0.00
−0.8
408-AH 40.77 433-AH 55.77
−1
409-AH 27.33 434-AH 0.14 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 41.48 435-AH 0.25
411-AH 2.39 436-AH 0.27
412-AH 1.73 437-AH 9.07 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN6
413-AH 0.05 438-AH 17.77 0.8
414-AH 3.53 439-AH 0.10 0.6
415-AH 0.27 440-AH 0.02 0.4
416-AH 33.99 441-AH 0.53 0.2
Difference
417-AH 3.29 442-AH 35.06 0
418-AH 64.43 443-AH 1.98 −0.2
−0.4
419-AH 0.47 444-AH 15.88
−0.6
420-AH 14.82 445-AH 0.06
−0.8
421-AH 55.83 446-AH 3.36
−1
422-AH 0.09 447-AH 56.05 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.12 448-AH 13.98
424-AH 2.15 449-AH 2.40
425-AH 0.11 450-AH 0.10
608
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN6 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 16.00 DSV_AMH_BLNG_RUN6
10 docs 17.00 90%
15 docs 15.73
80%
20 docs 14.30
30 docs 12.33 70%
100 docs 7.22
60%
200 docs 4.94
Precision
500 docs 3.10 50%
1000 docs 2.06 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
12.88
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.5714
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0233
Third Quartile 0.2333
Interquartile range 0.2333 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1288
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1801 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.5714 20
Mean With No Outliers 0.1288 15
Std With No Outliers 0.1801 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN6
0.8
401-AH 0.00 426-AH 22.07 0.6
402-AH 0.00 427-AH 0.00 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 5.08 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 52.17 432-AH 0.00
−0.8
408-AH 50.00 433-AH 52.16
−1
409-AH 26.32 434-AH 2.70 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 44.68 435-AH 3.51
411-AH 0.00 436-AH 1.28
412-AH 7.41 437-AH 5.92 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN6
413-AH 0.00 438-AH 23.33 0.8
414-AH 0.00 439-AH 1.28 0.6
415-AH 2.82 440-AH 0.00 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 14.74 442-AH 41.67 0
418-AH 57.14 443-AH 9.52 −0.2
−0.4
419-AH 0.00 444-AH 32.00
−0.6
420-AH 21.74 445-AH 0.00
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 1.96 447-AH 33.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 25.00
424-AH 0.00 449-AH 9.38
425-AH 0.00 450-AH 1.67
609
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN7 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 7
Total number of documents over all queries Query Construction MANUAL
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,002 Pooled false
Geometric Mean Average Precision 0.0128 Manual WSD
Binary Preference (BPREF) 0.1299
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 25.95 DSV_AMH_BLNG_RUN7
10 20.14 90%
20 14.47
80%
30 12.63
40 10.68 70%
50 9.75
60%
60 8.00
Precision
70 6.65 50%
80 5.21 40%
90 3.42
30%
100 2.76
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
9.76 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.7339
Minimum 0.0000
First Quartile 0.0036
Second Quartile 0.0148
Third Quartile 0.1268
Interquartile range 0.1233 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.0976
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1591 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.2690 20
Mean With No Outliers 0.0420 15
Std With No Outliers 0.0634 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN7
0.8
401-AH 0.02 426-AH 8.18 0.6
402-AH 0.36 427-AH 0.00 0.4
403-AH 2.31 428-AH 0.51 0.2
Difference
404-AH 0.36 429-AH 0.89 0
405-AH 0.00 430-AH 0.52 −0.2
−0.4
406-AH 0.14 431-AH 0.38
−0.6
407-AH 31.84 432-AH 0.01
−0.8
408-AH 37.23 433-AH 45.33
−1
409-AH 35.91 434-AH 0.13 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 19.86 435-AH 2.58
411-AH 12.91 436-AH 0.09
412-AH 1.04 437-AH 14.51 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN7
413-AH 0.03 438-AH 12.68 0.8
414-AH 5.64 439-AH 0.01 0.6
415-AH 0.93 440-AH 0.42 0.4
416-AH 17.44 441-AH 5.69 0.2
Difference
417-AH 2.56 442-AH 26.90 0
418-AH 73.39 443-AH 8.14 −0.2
−0.4
419-AH 0.63 444-AH 7.52
−0.6
420-AH 10.85 445-AH 0.22
−0.8
421-AH 48.40 446-AH 2.66
−1
422-AH 0.17 447-AH 35.25 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 1.16 448-AH 8.93
424-AH 0.72 449-AH 1.79
425-AH 0.15 450-AH 0.38
610
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN7 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 13.20 DSV_AMH_BLNG_RUN7
10 docs 13.60 90%
15 docs 12.53
80%
20 docs 11.90
30 docs 10.60 70%
100 docs 6.76
60%
200 docs 5.23
Precision
500 docs 3.18 50%
1000 docs 2.00 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
10.85
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.7143
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0171
Third Quartile 0.1667
Interquartile range 0.1667 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1085
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1675 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.4167 20
Mean With No Outliers 0.0634 15
Std With No Outliers 0.0955 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN7
0.8
401-AH 0.00 426-AH 19.25 0.6
402-AH 1.61 427-AH 0.00 0.4
403-AH 8.70 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 5.08 0
405-AH 0.00 430-AH 3.23 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 43.48 432-AH 0.00
−0.8
408-AH 50.00 433-AH 50.59
−1
409-AH 42.11 434-AH 1.80 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 21.28 435-AH 8.77
411-AH 10.00 436-AH 0.00
412-AH 7.41 437-AH 21.30 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN7
413-AH 0.00 438-AH 6.67 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 27.27 441-AH 0.00 0.2
Difference
417-AH 13.68 442-AH 25.00 0
418-AH 71.43 443-AH 9.52 −0.2
−0.4
419-AH 0.00 444-AH 8.00
−0.6
420-AH 19.57 445-AH 0.00
−0.8
421-AH 41.67 446-AH 0.00
−1
422-AH 0.98 447-AH 16.67 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 6.25
425-AH 0.00 450-AH 0.00
611
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN8 AH-BILI-X2EN-CLEF2007
Overall statistics for 50 queries : Priority 8
Total number of documents over all queries Query Construction MANUAL
Retrieved 50,000 Source Language Amharic
Relevant 2,247 Topic Fields title, description, narrative
Relevant retrieved 1,104 Pooled false
Geometric Mean Average Precision 0.0158 Manual WSD with pseudo relevance feedback
Binary Preference (BPREF) 0.1560
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual English Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 33.02 DSV_AMH_BLNG_RUN8
10 23.41 90%
20 18.54
80%
30 16.76
40 14.49 70%
50 13.43
60%
60 9.82
Precision
70 8.51 50%
80 7.20 40%
90 5.26
30%
100 3.39
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
12.92 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.6486
Minimum 0.0000
First Quartile 0.0024
Second Quartile 0.0226
Third Quartile 0.1805
Interquartile range 0.1781 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.1292
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1990 40
Number of Topics of the Experiment
35
Lower Outlier Threshold 0.0000
30
Upper Outlier Threshold 0.3409 25
Mean With No Outliers 0.0587 20
15
Std With No Outliers 0.0948
10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN8
0.8
401-AH 0.03 426-AH 13.00 0.6
402-AH 0.24 427-AH 0.00 0.4
403-AH 3.23 428-AH 0.80 0.2
Difference
404-AH 0.34 429-AH 2.29 0
405-AH 0.00 430-AH 0.42 −0.2
−0.4
406-AH 0.16 431-AH 0.42
−0.6
407-AH 61.90 432-AH 0.02
−0.8
408-AH 48.97 433-AH 64.86
−1
409-AH 34.09 434-AH 0.14 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 46.00 435-AH 2.23
411-AH 11.38 436-AH 0.34
412-AH 2.94 437-AH 16.00 1
Ad−Hoc Bilingual English Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN8
413-AH 0.06 438-AH 22.94 0.8
414-AH 3.53 439-AH 0.01 0.6
415-AH 0.52 440-AH 0.20 0.4
416-AH 32.22 441-AH 3.25 0.2
Difference
417-AH 3.19 442-AH 31.82 0
418-AH 64.43 443-AH 19.19 −0.2
−0.4
419-AH 0.84 444-AH 10.08
−0.6
420-AH 18.05 445-AH 0.15
−0.8
421-AH 52.22 446-AH 5.43
−1
422-AH 0.17 447-AH 55.29 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.89 448-AH 8.24
424-AH 0.88 449-AH 2.16
425-AH 0.14 450-AH 0.37
612
stockholm 10.2415/AH-BILI-X2EN-CLEF2007.STOCKHOLM.DSV_AMH_BLNG_RUN8 AH-BILI-X2EN-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual English Task − Retrieved documents vs Mean Precision
100%
5 docs 18.00 DSV_AMH_BLNG_RUN8
10 docs 17.40 90%
15 docs 16.00
80%
20 docs 14.40
30 docs 12.93 70%
100 docs 8.50
60%
200 docs 6.00
Precision
500 docs 3.58 50%
1000 docs 2.21 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
13.31
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual English Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.6157
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.0209
Third Quartile 0.2300
Interquartile range 0.2300 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.1331
Ad−Hoc Bilingual English Task − Distribution of the Topics of the Experiment
Standard Deviation 0.1886 30
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000 25
Upper Outlier Threshold 0.5714 20
Mean With No Outliers 0.1232 15
Std With No Outliers 0.1771 10
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries DSV_AMH_BLNG_RUN8
0.8
401-AH 0.00 426-AH 23.00 0.6
402-AH 1.61 427-AH 0.00 0.4
403-AH 11.59 428-AH 0.00 0.2
Difference
404-AH 0.00 429-AH 5.08 0
405-AH 0.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 0.00
−0.6
407-AH 52.17 432-AH 0.00
−0.8
408-AH 55.56 433-AH 61.57
−1
409-AH 36.84 434-AH 2.70 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 53.19 435-AH 7.02
411-AH 10.00 436-AH 2.56
412-AH 7.41 437-AH 20.71 1
Ad−Hoc Bilingual English Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
DSV_AMH_BLNG_RUN8
413-AH 0.00 438-AH 20.00 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 1.41 440-AH 0.00 0.4
416-AH 33.33 441-AH 0.00 0.2
Difference
417-AH 14.74 442-AH 33.33 0
418-AH 57.14 443-AH 23.81 −0.2
−0.4
419-AH 0.00 444-AH 16.00
−0.6
420-AH 23.91 445-AH 0.00
−0.8
421-AH 50.00 446-AH 0.00
−1
422-AH 0.98 447-AH 33.33 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 0.00
424-AH 0.00 449-AH 6.25
425-AH 0.00 450-AH 0.00
613
jhu-apl 10.2415/AH-BILI-X2HU-CLEF2007.JHU-APL.APLBIENHUTD4 AH-BILI-X2HU-CLEF2007
Overall statistics for 50 queries : Priority 1
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 911 Topic Fields title, description
Relevant retrieved 727 Pooled true
Geometric Mean Average Precision 0.0892 4-
Binary Preference (BPREF) 0.2611
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 57.08 APLBIENHUTD4
10 48.08 90%
20 44.13
80%
30 36.37
40 31.24 70%
50 28.28
60%
60 25.92
Precision
70 23.21 50%
80 18.67 40%
90 14.38
30%
100 10.69
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.00 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9286
Minimum 0.0000
First Quartile 0.0379
Second Quartile 0.2235
Third Quartile 0.4709
Interquartile range 0.4329 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2900
Ad−Hoc Bilingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2662 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9286 10
Mean With No Outliers 0.2900
Std With No Outliers 0.2662 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENHUTD4
0.8
401-AH 1.02 426-AH 2.57 0.6
402-AH 45.15 427-AH 22.26 0.4
403-AH 12.00 428-AH 3.91 0.2
Difference
404-AH 36.35 429-AH 6.61 0
405-AH 57.14 430-AH 0.63 −0.2
−0.4
406-AH 0.01 431-AH 47.16
−0.6
407-AH 16.84 432-AH 33.94
−0.8
408-AH 17.66 433-AH 53.40
−1
409-AH 37.97 434-AH 92.86 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 71.99 435-AH 21.34
411-AH 5.88 436-AH 0.00
412-AH 6.22 437-AH 63.63 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIENHUTD4
413-AH 47.09 438-AH 3.30 0.8
414-AH 26.19 439-AH 0.92 0.6
415-AH 18.40 440-AH 33.90 0.4
416-AH 38.20 441-AH 71.38 0.2
Difference
417-AH 3.50 442-AH 80.05 0
418-AH 50.37 443-AH 3.79 −0.2
−0.4
419-AH 0.73 444-AH 26.64
−0.6
420-AH 35.65 445-AH 6.42
−0.8
421-AH 46.78 446-AH 0.00
−1
422-AH 0.20 447-AH 85.36 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 22.21 448-AH 79.35
424-AH 35.85 449-AH 52.86
425-AH 2.00 450-AH 22.45
614
jhu-apl 10.2415/AH-BILI-X2HU-CLEF2007.JHU-APL.APLBIENHUTD4 AH-BILI-X2HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 32.40 APLBIENHUTD4
10 docs 32.80 90%
15 docs 28.40
80%
20 docs 25.20
30 docs 21.60 70%
100 docs 10.02
60%
200 docs 5.82
Precision
500 docs 2.71 50%
1000 docs 1.45 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
29.00
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8750
Minimum 0.0000
First Quartile 0.0345
Second Quartile 0.2583
Third Quartile 0.4583
Interquartile range 0.4239 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2900
Ad−Hoc Bilingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2615 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.8750 10
Mean With No Outliers 0.2900
Std With No Outliers 0.2615 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENHUTD4
0.8
401-AH 3.45 426-AH 0.00 0.6
402-AH 42.86 427-AH 28.57 0.4
403-AH 8.33 428-AH 0.00 0.2
Difference
404-AH 33.33 429-AH 15.38 0
405-AH 50.00 430-AH 0.00 −0.2
−0.4
406-AH 0.00 431-AH 63.64
−0.6
407-AH 25.00 432-AH 33.33
−0.8
408-AH 19.35 433-AH 46.51
−1
409-AH 25.00 434-AH 87.50 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 26.67
411-AH 0.00 436-AH 0.00
412-AH 16.22 437-AH 61.54 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIENHUTD4
413-AH 45.83 438-AH 8.82 0.8
414-AH 25.00 439-AH 0.00 0.6
415-AH 16.67 440-AH 30.77 0.4
416-AH 45.45 441-AH 66.67 0.2
Difference
417-AH 0.00 442-AH 77.78 0
418-AH 52.63 443-AH 3.70 −0.2
−0.4
419-AH 0.00 444-AH 43.75
−0.6
420-AH 38.10 445-AH 0.00
−0.8
421-AH 33.33 446-AH 0.00
−1
422-AH 0.00 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.00 448-AH 75.00
424-AH 33.33 449-AH 48.15
425-AH 7.14 450-AH 26.92
615
jhu-apl 10.2415/AH-BILI-X2HU-CLEF2007.JHU-APL.APLBIENHUTD5 AH-BILI-X2HU-CLEF2007
Overall statistics for 50 queries : Priority 2
Total number of documents over all queries Query Construction AUTOMATIC
Retrieved 50,000 Source Language English
Relevant 911 Topic Fields title, description
Relevant retrieved 706 Pooled true
Geometric Mean Average Precision 0.0773 5-grams. MT
Binary Preference (BPREF) 0.2638
Interploated Recall (%) Precision Averages (%)
Ad−Hoc Bilingual Hungarian Task − Standard Recall Levels vs Mean Interpolated Precision
100%
0 52.30 APLBIENHUTD5
10 44.51 90%
20 40.46
80%
30 36.51
40 33.51 70%
50 31.64
60%
60 28.85
Precision
70 26.33 50%
80 21.26 40%
90 16.16
30%
100 12.49
Average precision (non-interpolated) for all 20%
relevant documents (averaged over queries)
29.63 10%
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Recall
Ad−Hoc Bilingual Hungarian Task − Box plot of the Topics of the Experiment
AVERAGE_PRECISION
Maximum 0.9464
Minimum 0.0000
First Quartile 0.0455
Second Quartile 0.1957
Third Quartile 0.4828
Interquartile range 0.4373 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Mean 0.2963
Ad−Hoc Bilingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2965 15
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
Upper Outlier Threshold 0.9464 10
Mean With No Outliers 0.2963
Std With No Outliers 0.2965 5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
Average Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENHUTD5
0.8
401-AH 2.26 426-AH 2.35 0.6
402-AH 38.75 427-AH 22.58 0.4
403-AH 0.64 428-AH 5.34 0.2
Difference
404-AH 17.02 429-AH 8.62 0
405-AH 44.17 430-AH 4.57 −0.2
−0.4
406-AH 0.00 431-AH 51.24
−0.6
407-AH 86.06 432-AH 32.35
−0.8
408-AH 10.20 433-AH 63.25
−1
409-AH 26.47 434-AH 93.67 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 80.01 435-AH 17.85
411-AH 11.11 436-AH 0.00
412-AH 1.78 437-AH 61.92 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median Average Precision by Topic (Topics 426−AH to 450−AH)
APLBIENHUTD5
413-AH 48.12 438-AH 7.11 0.8
414-AH 2.42 439-AH 4.43 0.6
415-AH 18.66 440-AH 11.44 0.4
416-AH 44.02 441-AH 70.87 0.2
Difference
417-AH 5.32 442-AH 82.60 0
418-AH 61.92 443-AH 0.83 −0.2
−0.4
419-AH 3.22 444-AH 30.48
−0.6
420-AH 34.75 445-AH 5.55
−0.8
421-AH 48.28 446-AH 0.00
−1
422-AH 0.00 447-AH 94.64 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 20.49 448-AH 78.45
424-AH 25.77 449-AH 74.66
425-AH 4.55 450-AH 20.57
616
jhu-apl 10.2415/AH-BILI-X2HU-CLEF2007.JHU-APL.APLBIENHUTD5 AH-BILI-X2HU-CLEF2007
Docs Cutoff Levels Precision at DCL (%)
Ad−Hoc Bilingual Hungarian Task − Retrieved documents vs Mean Precision
100%
5 docs 34.80 APLBIENHUTD5
10 docs 31.80 90%
15 docs 28.67
80%
20 docs 26.10
30 docs 22.07 70%
100 docs 10.00
60%
200 docs 5.71
Precision
500 docs 2.63 50%
1000 docs 1.41 40%
R-Precision (precision after R document retrieved,
where R = Relevant retrieved) 30%
28.70
20%
10%
0%
5 10 15 20 30 100 200 500 1000
Retrieved Documents (logarithmic scale)
Ad−Hoc Bilingual Hungarian Task − Box plot of the Topics of the Experiment
R_PRECISION
Maximum 0.8889
Minimum 0.0000
First Quartile 0.0000
Second Quartile 0.2278
Third Quartile 0.5000
Interquartile range 0.5000 0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Mean 0.2870
Ad−Hoc Bilingual Hungarian Task − Distribution of the Topics of the Experiment
Standard Deviation 0.2880 20
Number of Topics of the Experiment
Lower Outlier Threshold 0.0000
15
Upper Outlier Threshold 0.8889
Mean With No Outliers 0.2870 10
Std With No Outliers 0.2880
5
0
0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95% 100%
R−Precision
Precision averages (%) for individual 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 401−AH to 425−AH)
queries APLBIENHUTD5
0.8
401-AH 3.45 426-AH 0.00 0.6
402-AH 42.86 427-AH 28.57 0.4
403-AH 0.00 428-AH 0.00 0.2
Difference
404-AH 22.22 429-AH 15.38 0
405-AH 50.00 430-AH 11.11 −0.2
−0.4
406-AH 0.00 431-AH 57.58
−0.6
407-AH 75.00 432-AH 33.33
−0.8
408-AH 9.68 433-AH 58.14
−1
409-AH 25.00 434-AH 83.33 401−AH 402−AH 403−AH 404−AH 405−AH 406−AH 407−AH 408−AH 409−AH 410−AH 411−AH 412−AH 413−AH 414−AH 415−AH 416−AH 417−AH 418−AH 419−AH 420−AH 421−AH 422−AH 423−AH 424−AH 425−AH
Topic Identifier
410-AH 77.27 435-AH 23.33
411-AH 0.00 436-AH 0.00
412-AH 5.41 437-AH 57.69 1
Ad−Hoc Bilingual Hungarian Task − Comparison to Median R−Precision by Topic (Topics 426−AH to 450−AH)
APLBIENHUTD5
413-AH 50.00 438-AH 11.76 0.8
414-AH 0.00 439-AH 0.00 0.6
415-AH 16.67 440-AH 7.69 0.4
416-AH 45.45 441-AH 66.67 0.2
Difference
417-AH 0.00 442-AH 88.89 0
418-AH 63.16 443-AH 0.00 −0.2
−0.4
419-AH 0.00 444-AH 37.50
−0.6
420-AH 33.33 445-AH 0.00
−0.8
421-AH 33.33 446-AH 0.00
−1
422-AH 0.00 447-AH 86.96 426−AH 427−AH 428−AH 429−AH 430−AH 431−AH 432−AH 433−AH 434−AH 435−AH 436−AH 437−AH 438−AH 439−AH 440−AH 441−AH 442−AH 443−AH 444−AH 445−AH 446−AH 447−AH 448−AH 449−AH 450−AH
Topic Identifier
423-AH 0.00 448-AH 75.00
424-AH 27.78 449-AH 70.37
425-AH 14.29 450-AH 26.92
617