-
“Because the categorizing of the units is a
consequence of some complex judgment process
performed by a ‘two-legged meter’ [...], it
becomes important to determine the extent to
which these judgments are reproducible, i.e.,
reliable.”
È convinzione abbastanza diffusa che un alto
livello di Inter-Annotator Agreement (da ora in
poi: I.A.A.) tra gli annotatori sia indice della
bontà e della riproducibilità di un paradigma di
annotazione. Come sottolinea Di Eugenio:
“This raises the question of how to evaluate the
‘goodness’ of a coding scheme. One way of
doing so is to assess its reliability, namely, to
assess whether different coders can reach a
satisfying level of agreement with each other when
they use the coding manual on the same data.”
(Di Eugenio, 2000: 441)
L’assunto di base è dunque che i dati siano
considerabili “attendibili” se due o più annotatori
sono in accordo nell’individuare un fenomeno
linguistico oppure nell’assegnare una categoria
all’item in analisi. In tale prospettiva, la
reliability si configura perciò come prerequisito per
dimostrare la validità di uno schema di codifica, e
un ampio consenso tra gli annotatori viene
assunto a garanzia della precisione intrinseca del
processo di annotazione
(Warrens, 2010)
.
“The main reason for the analysis of annotation
quality is to obtain a measure of the
‘trustworthiness’ of annotations. […] Only if we can trust
that annotations are provided in a consistent
and reproducible manner, can we be sure that
conclusions drawn from such data are likewise
reliable and that the subsequent usage of
annotations is not negatively influenced by
inconsistencies and errors in the data. Inter-annotator
(or inter-coder) agreement has become the
quasi-standard procedure for testing the accuracy
of manual annotations.”
(Bayerl & Paul, 2011: 700)
In ambito computazionale l’I.A.A. è usato come
veicolo per passare dal materiale annotato ad un
gold standard, ovvero un insieme di dati
sufficientemente noise-free che serva per training e
testing di sistemi automatici. Di prassi i
coefficienti di agreement vengono usati per assicurare
la bontà della procedura di annotazione e del
materiale annotato: un alto livello di I.A.A. fa sì che
il fenomeno sia considerato consistente e
sistematico, e che la risorsa validata sia idonea per
addestrare un sistema automatico che svolga il
medesimo compito del linguista.
In realtà, l’idea che l’I.A.A. possa indicare in
senso assoluto la qualità del dataset come risorsa
di riferimento è fallace: due osservatori possono,
pur sbagliando entrambi, essere in perfetto
accordo nel valutare un evento:
“However, it is important to keep in mind that
achieving good agreement cannot ensure
validity: two observers of the same event may well
share the same prejudice while still being
objectively wrong.”
(Artstein & Poesio, 2008: 557)
È inoltre opportuno considerare che l’agreement
raggiunto abitualmente dagli annotatori varia in
relazione al livello di esperienza: l’I.A.A. in
gruppi omogenei è comparabile a prescindere dai
livelli di esperienza, ma si abbassa qualora
vengano formati gruppi misti di esperti e non esperti:
“Implicit in discussions of inter-annotator
agreement is that coders not only agree on
which unit belongs to which category, but that if
they agree these decisions are also correct with
respect to the phenomenon under scrutiny [...].
In our study, this assumption left us with a
dilemma. Our data showed that experts and
nonexperts could achieve comparable levels of
agreement, whereas the average agreement for
mixed groups was significantly lower. In other
words, experts and novices were equally
reliable, yet did not agree with each other.”
(Bayerl & Paul, 2011: 721)
Non tutti i task di annotazione linguistica sono
valutabili secondo le stesse procedure; dal punto
di vista qualitativo, si possono individuare
almeno due tipologie generali
(Mathet, Widlöcher, A.
& Métivier, 2015)
:
• “individuazione di unità” o “unitizing”
(Krippendorff, 1980)
, in cui l’annotatore,
dato un testo scritto o parlato, deve
identificare posizione e confine degli elementi
linguistici (es. identificazione di unità
prosodiche o gestuali, topic segmentation);
• “categorizzazione”: l’annotatore deve
attribuire un tag a oggetti linguistici
preidentificati (es. PoS Tagging, Word Sense
Disambiguation).
Il paper si propone di presentare una breve
rassegna critica delle metriche utilizzate in questa
seconda tipologia di task, in particolare ponendo
attenzione al calcolo dei coefficienti e alla loro
interpretazione.
2
I coefficient di agreement
Adottando la notazione proposta da
Artstein &
Poesio (2008)
, ogni studio di I.A.A per i task di
categorizzazione deve prevedere:
• un insieme di item {i | i ∈ I};
• un insieme di categorie assegnabili agli item
{c | c ∈ C};
• un insieme di annotatori, che assegnano
ciascun item ad una categoria {r | r ∈ R}.
Verrà convenzionalmente indicato con A
l’agreement e con D il disagreement. Allo scopo
di illustrare le modalità di calcolo dei
coefficienti, è stato creato ad hoc un esempio fittizio: la
situazione immaginata prevede che due
annotatori assegnino 20 item a 3 categorie.
L’indice più rudimentale è quello percentuale,
detto anche “Index of crude agreement”
(Goodman & Kruskal, 1954)
o “Observed
Agreement” (Ao): la misura corrisponde,
banalmente, al rapporto tra il numero di item su cui i
rater sono d’accordo ed il numero totale di item.
Nell’esempio proposto in tab.1, Ao ha un valore
di 0.85.
La misura non solo non tiene in
considerazione il ruolo che potrebbe giocare il caso, per cui i
rater potrebbero trovarsi in accordo “tirando ad
indovinare”, ma deve fare i conti con un
fenomeno già notato in
Scott (1955)
e
Artstein &
Poesio (2008)
: dati due diversi schemi di
codifica per lo stesso task, quello con il minor numero
di categorie registrerebbe una più alta
percentuale di I.A.A. Il valore è fortemente influenzato
anche dal problema della “prevalenza”, ovvero la
maggior concentrazione di item in una delle
categorie: come avremo modo di discutere in §
2.2.1, una simile distribuzione influenza in
negativo la possibilità di raggiungere alti livelli di
I.A.A., indipendentemente dalla grandezza del
campione.
Il livello di I.A.A. nell’espressione di giudizi
categoriali deve perciò necessariamente essere
esplicitato nei termini di eccedenza rispetto
all’accordo ottenibile casualmente, pena la
mancanza di effettiva informatività. In ambito
psicometrico sono stati introdotti numerosi
coefficienti statistici in grado di correggere tale
aspetto: questi indici, a cui si farà riferimento con il
nome di “misure kappa”, si fondano su tre
assunti
(Soeken & Prescott, 1986)
:
• gli item soggetti a valutazione sono
indipendenti l’uno dall’altro;
• i rater che giudicano gli item operano in
autonomia ed in modo completamente
indipendente;
• le categorie usate sono mutualmente
esclusive ed esaustive.
2.2.1
2 rater
Il caso base è rappresentato dai coefficienti per la
valutazione dei giudizi prodotti da due soli rater,
indice noto ai più come “k di Cohen”. Prima di
passare alla presentazione della misura è però
necessaria una piccola premessa terminologica. Il
celebre articolo di
Carletta (1996)
, a cui va il
merito di aver stabilito la valutazione
dell’agreement come standard de facto in LC, ha
introdotto una piccola inconsistenza in letteratura
(Artstein & Poesio, 2008)
: la studiosa, nel
suggerire l’utilizzo di un coefficiente definito “kappa”,
fa infatti riferimento non all’originale k proposta
in
Cohen (1960)
, ma ad una misura molto simile,
introdotta cinque anni prima da Scott. La
questione non si esaurisce in un mero problema
terminologico: esistono infatti tre indici che, pur
condividendo la medesima formula, sono fondati
su ipotesi diverse riguardo la distribuzione degli
item nelle categorie, ovvero S di Bennett et al.,
π di Scott e k di Cohen. Le differenti ipotesi
soggiacenti comportano diverse modalità di
calcolo e quindi risultati non coincidenti, seppure in
misura minima. La formula di base è la seguente:
1) , , = !!!!! !!!!
dove Ae è l’agreement dovuto al caso (“Expected
Agreement by chance”); Ao− Ae stima perciò
l’agreement effettivamente raggiunto al di sopra
della soglia della casualità, mentre 1 − Ae misura
quanto accordo eccedente il caso è ottenibile.
Mentre Ao è estremamente semplice da calcolare
(§ 2.1) e ha lo stesso valore nelle tre misure, Ae
richiede invece un modello del comportamento
degli annotatori. Tutti i coefficienti assumono
l’indipendenza dei due annotatori che valutano
gli item: la probabilità che due rater (r1 ed r2)
siano d’accordo su una determinata categoria c è
dunque data dal prodotto della probabilità che
ciascun rater assegni un item a quella categoria,
ovvero:
2) 1 ∙ 2
Ae è dato dalla sommatoria di tale probabilità
congiunta per tutte le categorie dello schema di
codifica.
3) !! = !! = !! =
!∈! ! ∙ !
La differenza tra S, π e k risiede negli assunti che
sono alla base del calcolo di ! .
S
(Bennett et al., 1954)
assume che
un’annotazione totalmente casuale determini una
distribuzione uniforme degli item nelle categorie,
ovvero che tutte le categorie dello schema di
codifica siano ugualmente probabili; la probabilità
che ogni rater assegni un item alla categoria c è
dunque 1/c.
4) !! =
!∈! !! ∙ !! = ∙ !! ! = !!
Nell’esempio di tab.1 A!!=0.333 e S=0.775.
L’assunto dell’uniformità è un prerequisito
estremamente vincolante: per tale ragione non
risultano, ad oggi, studi di I.A.A. in LC in cui sia
stato impiegato questo coefficiente. In aggiunta,
come è stato notato da Scott (1955: 322-323) e
riportato da Artstein & Poesio (2008: 561), il
valore dell’indice può essere aumentato
semplicemente inserendo nello schema di codifica
categorie vuote.
Il coefficiente π
(Scott, 1955)
, noto anche col
nome di K di
Siegel & Castellan (1988)
, assume
che se l’attribuzione degli item alle categorie
avviene in modo casuale, la distribuzione sarà
uguale per entrambi gli annotatori. !
corrisponderà perciò al rapporto tra il numero totale di
assegnazioni alla categoria c da parte di entrambi
i rater , nc , e il numero totale di assegnazioni
compiute, 2i.
5) !! =
!! !
!∈! !!
Nel caso in oggetto, A!! = 0.414 e π=0.744.
k
(Cohen, 1960)
prevede infine una distribuzione
degli item nelle categorie distinta ed unica per
ciascun annotatore, rappresentata nelle frequenze
marginali della tabella di contingenza.
6) ! = !!!!
!
7) !! = ! ∈! !!!!! ∙ !!!!!
Nell’esempio oggetto di discussione, pertanto,
A!!=0.41 e k=0.764.
La corretta scelta dell’indice non può prescindere
dalla considerazione che i coefficienti sono
fortemente influenzati da disomogeneità nella
distribuzione dei dati
(Feinstein & Cicchetti, 1990;
Cicchetti & Feinstein 1990; Di Eugenio & Glass,
2004; Artstein & Poesio, 2008)
, classificabili in
due tipologie principali: la già ricordata
“prevalenza” (tab. 2) e il “bias”, cioè il grado con cui
gli annotatori sono in accordo/disaccordo nelle
loro valutazioni complessive, ossia le loro
“tendenze” nell’esprimere giudizi (tab. 3 e 4).
rater
2
rater 1
c1 c2
c1 18 0
c2 0 0
c3 1 0
tot 19 0
Nell’esempio di tab. 2, la forte prevalenza in
favore della categoria c1 fa sì che A!! = A!! = 0.905.
Di conseguenza, nonostante Ao sia molto alto
(0.9), π = k = -0.053, al di sotto della soglia della
pura casualità.
Si confrontino quindi i dati delle tabelle 3 e 4:
sebbene entrambe registrino un Ao di 0.55, nel
caso in cui le distribuzioni marginali siano molto
simili (tab.3) A!! = 0.335, A!!= 0.336, π = 0.322, k
= 0.323; l’effetto di bias (tab.4), invece, affligge
la k di Cohen, in ragione delle modalità di
calcolo di ! : A!! = 0.334, A!!= 0.287, π = 0.326, k
= 0.368. La differenza tra π e k è empiricamente
minima: A!! ≥ A!!, perciò π ≤ k. I due coefficienti
assumono lo stesso valore nel caso (limite) in cui
le distribuzioni marginali dei due rater siano
identiche, come in tab. 2.
A fronte di ciò, laddove non sia possibile
effettuare uno studio che coinvolga più di due rater,
sembrerebbe pertanto da preferire il coefficiente
π di Scott, in grado di generalizzare il
comportamento dei singoli annotatori. In letteratura sono
state fatte varie proposte riguardo la modalità di
presentazione dei risultati dell’I.A.A per due
annotatori: allo stato dell’arte sembrerebbe
preferibile adottare la soluzione suggerita da
Byrt et al.
(1993)
e adottata da Di Eugenio & Glass (2004),
ovvero presentare congiuntamente diversi
coefficienti:
• k, che in linea di principio meglio si adatta
alla valutazione di annotazioni che
coinvolgono dati linguistici, e rende conto di
eventuali tendenze dei rater;
• π, immune all’effetto di bias;
• una terza misura, 2Ao-1, in grado di
neutralizzare l’effetto di prevalenza
(Byrt et
al., 1993)
.
Sono state proposte moltissime generalizzazioni
dei coefficienti presentati, per assicurare
maggiore flessibilità ed adattabilità agli specifici task:1
tra le più note vi è la “weighted kappa”
(Cohen,
1968)
, k(w), indice che consente di esprimere
delle gradazioni di disaccordo mediante una tabella
di “pesi” di valore compresi tra 0 e 1 (“weighting
scheme”), come nell’esempio:
Ao(w) e Ae(w) vengono calcolati in modo affine
alla k di
Cohen (1960)
, moltiplicando però, in
aggiunta, ogni cella della tabella di contingenza
per il corrispettivo peso.
8) (!) = !!!(!!) !!!!(!!()!)
Se applicata ai dati di Tab.1, k(w) = 0.774.
Sono stati inoltre introdotti indici in grado di
quantificare l’I.A.A. tra tre o più annotatori: in
primis la cosiddetta k di
Fleiss (1971)
, che
estende l’indice π di Scott (“multi-π ”), ed il
coefficiente presentato in
Davies & Fleiss (1982)
che
generalizza la k di Cohen (“multi-k”);2 ma
soprattutto il coefficiente α di
Krippendorff
(1980)
, che esprime l’I.A.A. in termini di
disagreement, osservato (Do) e dovuto al caso (De):
9)
= 1 − !!!!
La formula, pur essendo stata derivata dalla
misura della varianza, non fa esplicito riferimento
alle medie dei campioni e può pertanto essere
generalizzata ad una moltitudine di schemi di
codifica in cui le categorie non siano
interpretabili come valori numerici; come per la weighted
kappa si possono inoltre attribuire pesi alle
di1 Alcune estensioni delle misure “kappa”, troppo complesse
per essere descritte esaurientemente in questa sede,
consentono ad esempio di valutare l’I.A.A nel caso in cui i rater
effettuino osservazioni multiple, e non necessariamente di
ugual numero, oppure di gestire gli schemi di annotazione
che prevedono la possibilità di attribuire più di una
classificazione agli item
(Kraemer, 1980)
.
2 Le modalità di calcolo sono affini ai coefficienti già
descritti. Per i dettagli si rinvia perciò a
Fleiss (1971)
,
Davies
& Fleiss (1982)
e all’ottima sintesi di
Artstein & Poesio
(2008)
e
Artstein (2017)
. Si noti che Ao non potrà essere
definito come “percentuale di item su cui c’è accordo”,
visto che con altissima probabilità ci saranno nei dati item
su cui alcuni rater saranno d’accordo e altri no: la soluzione
proposta in letteratura a partire da
Fleiss (1971)
è di
misurare l’I.A.A. “pairwise”, ovvero “a coppie”.
verse tipologie di disagreement, utilizzando
weighting scheme oppure introducendo nel
calcolo delle metriche, ad esempio l’indice statistico
MASI
(Passonneau, 2006; Dorr et al., 2010)
.3 α
è equivalente a multi-π per campioni numerosi,
ma è in grado, non imponendo un numero
minimo di item, di mitigare gli effetti statistici di
dataset a bassa numerosità campionaria; inoltre,
consentendo la gestione di dataset incompleti, è
utilizzabile (o addirittura preferibile) nel caso in
cui l’annotazione si svolga in maniera
collaborativa e distribuita, ad esempio su piattaforme di
crowdsourcing.
3
Reliability: agreement o correlazione?
In letteratura, in particolare in ambito clinico
(Bishop & Baird, 2001; Van Noord & Prevatt,
2002; Massa et al., 2008; Gudmundsson &
Gretarsson, 2009)
, non è infrequente che, nella stima
dell’I.A.A, vengano preferiti o affiancati alle
misure presentate la statistica χ2 oppure gli indici
statistici di correlazione (coefficiente R di
Pearson in primis, ma anche i non parametrici ρ di
Spearman e τ di Kendall).
Come già notato da
Cohen (1960)
, l’utilizzo del
χ2 è una prassi da considerarsi scorretta, poiché
la statistica, applicata alla tavola di contingenza,
misura casualità e grado di associazione tra i set
di giudizi, non l’agreement
(Banerjee et al.,
1999)
.
“[...] Many investigators have computed χ2 over
the table for use as a test of the hypothesis of
chance agreement, and some have gone on to
compute the contingency coefficient (C) as a
measure of degree of agreement. [...] It is
readily demonstrable that the use of χ2 (and therefore
the C which is based on it) for the evaluation of
agreement is indefensible. When applied to a
contingency table, χ2 tests the null hypothesis
with regard to association, not agreement.
(Cohen, 1960: 38)
Altrettanto scorretta dal punto di vista
metodologico è l’applicazione di coefficienti di
correlazione inter-/intra- classe, che ugualmente non
quantificano l’I.A.A. ma la forza di associazione
tra gruppi di valori
(Bland & Altman, 1986;
Kottner et al., 2011; Stolarova et al., 2014)
. Si
noti inoltre che, dal punto di vista empirico,
un’ottima correlazione tra annotazioni può essere
raggiunta anche in caso di completa mancanza di
3 MASI è basato sul coefficiente di
Jaccard (1908)
e quindi
stabilisce la somiglianza/diversità tra insiemi campionari in
termini di distanza.
accordo, se due set di giudizi differiscono
sistematicamente.
La ragione di tali fraintendimenti deve
probabilmente essere rintracciata nell’uso
sostanzialmente sinonimico dei termini “reliability” e
“agreement”
(Stemler, 2004)
; come puntualizzato da
Krippendorff (2004)
, in realtà:
“To be clear, agreement is what we measure;
reliability is what we wish to infer from it.”
(Krippendorff, 2004: 413)
Le correlazioni statistiche possono senza dubbio
costituire un’informazione interessante nella
valutazione globale dell’affidabilità di un dataset, a
patto però che tale nozione sia tenuta distinta
dall’I.A.A. in senso stretto.
4