English. The goal of this study is to investigate whether a Transformer-based neural language model infers lexical semantics and use this information for the completion of morphosyntactic patterns. The semantic properties considered are telicity (also combined with definiteness) and agentivity. Both act at the interface between semantics and morphosyntax: they are semantically determined and syntactically encoded. The tasks were submitted to both the computational model and a group of Italian native speakers. The comparison between the two groups of data allows us to investigate to what extent neural language models capture significant aspects of human semantic competence.
Italiano. L’obiettivo di questo studio è quello di indagare se neural language models basati su Transformer inferiscono aspetti semantico-lessicali rilevanti per l’interfaccia con la sintassi ed utilizzano queste informazioni per il completamento di task morfosintattici. Le proprietà semantiche considerate sono la telicità (anche in relazione all’individuazione) e l’agentività. Entrambe sono semanticamente determinate e sintatticamente codificate. I task sono stati sottoposti sia al modello che ai parlanti. La comparazione tra i due gruppi di dati ci permetterà di determinare se questi modelli computazionali catturano aspetti significativi della competenza semantica umana. L’ipotesi distribuzionale stabilisce che lessemi con contesti linguistici simili hanno un significato simile (Wittgenstein, 1953; Harris, 1954; Firth, 1957).
I modelli distribuzionali sono stati impiegati con successo in molti task di Natural Language Processing, ma quale siano le conoscenze acquisite durante il processo di addestramento rimane una questione ancora aperta.
Uno degli approcci per comprendere la natura
di queste informazioni linguistiche consiste nel
valutare la loro accuratezza in task
psicolinguistici1. Alcuni studi hanno indagato proprietà e
dipendenze sintattiche
Il nostro lavoro contribuisce a questa linea di ricerca e ne adotta l’approccio psicolinguistico, ma se ne discosta nelle proprietà investigate, proponendo l’analisi della telicità (in combinazione con l’individuazione) e dell’agentività.
L’obiettivo è indagare se l’inferenza di queste
proprietà semantico-lessicali favorisce
l’elaborazione di alcuni task morfosintattici. Nella nostra
analisi abbiamo scelto di utilizzare un modello
distribuzionale di tipo predittivo che utilizza
rappresentazioni contestualizzate
Un importante dominio dell’informazione lessicale riguarda l’evento e i suoi partecipanti. Se da un lato l’aspetto è una nozione di natura eminentemente morfologica e semantica, che riguarda le 1 Gli stimoli, nei task psicolinguistici, sono progettati in modo da fornire informazioni sulle proprietà linguistiche che influenzano il comportamento umano (giudizio grammaticale, velocità di letture o risposte neurali). modalità di svolgimento dell’evento (piuttosto che la sua localizzazione e la serie di rapporti temporali); l’azionalità verbale, d’altra parte, non viene codificata dalla morfologia flessiva. Non basta dire che l’azionalità sia un fatto inerente al significato intrinseco di un lessema, bisogna individuare delle classi coerenti di verbi, contraddistinte da un comportamento sintattico omogeneo nell’ambito della lingua considerata. Ci sono diversi aspetti lessicali che possono essere codificali da una classe verbale e che pertengono alla classificazione azionale.
Vendler (1967) categorizza le classi azionali sulla base di tre proprietà fondamentali (la duratività, la dinamicità e la telicità) e individua quattro gruppi principali: i verbi stativi (states), di attività (activities), risultativi (accomplishments) e trasformativi (achievements). I verbi trasformativi e quelli risultativi vengono raggruppati nella categoria dei telici. Gli eventi telici hanno la caratteristica di essere finalizzati al raggiungimento di un telos, ovvero una meta o una fine. 2.1
Finora abbiamo considerato la classe dei telici come l’insieme dei risultativi e dei trasformativi. In ogni caso, è necessario specificare che la telicità può essere intesa come un continuum, un asse semantico che vede ai due estremi i prototipi della categoria (inerentemente telici e inerentemente atelici) e al centro gli elementi che definiremo configurazionali2. Dunque, la telicità non è una proprietà discreta e non sempre è possibile definirla in maniera inequivocabile (non essendo determinata solo dai tratti lessicali): essendo fortemente dipendente dal contesto (dagli argomenti del verbo e dalla transitività, ma anche dalla coniugazione dell’aspetto verbale) e veicolata dal senso complessivo della frase. Ad esempio, “disegnare” e “cantare” sono di per sé predicati verbali non telici: ciò che li rende telici, in un determinato contesto, è la presenza di un oggetto diretto che li determina, finalizzandoli al raggiungimento di un preciso scopo.
In “Gennaro ha disegnato/ha cantato tutto il pomeriggio” il predicato verbale si configura come atelico, ma diventa telico se si ha “Gennaro ha disegnato il ritratto di mia nonna” o “Gennaro ha cantato la sua canzone preferita”. 2 Con questo termine faremo riferimento, d’ora in poi, a quei predicati verbali la cui interpretazione telica (o atelica) è determinata dal contesto (in particolare dall’individuazione dell’oggetto o del soggetto).
Da Bertinetto (1997), apprendiamo che un test per distinguere l’accezione telica di un verbo da quella non-telica è l’aggiunta dell’avverbiale “in x tempo”3 che risulta incompatibile con i predicati non telici. L’applicazione dell’avverbiale “per X tempo”, invece, risulta o incompatibile con i predicati verbali telici o se compatibile, ne neutralizza la telicità. 2.2
L’individuazione dell’oggetto o del soggetto può incidere sull’interpretazione telica assegnata all’evento. Il concetto di individuazione unifica diverse proprietà dell’argomento e può essere considerata anch’essa una proprietà semantica di interfaccia, perché agisce sia a livello semantico che morfosintattico. L’individuazione si riferisce alla propensione di un’entità ad essere concepita come un individuo indipendente. Possiamo considerare l’individuazione come la risultante delle seguenti proprietà: individui, animatezza, concretezza/astrattezza, singolare/plurale, mass/count, referenziale/non-referenziale (Romagno, 2005). Concependo l’individuazione come un continuum, i significati possono essere raggruppati secondo classi di equivalenza che condividono le stesse proprietà di individuazione e le classi di individuazione possono essere ordinate sulla base del loro grado di individuazione. Il grado di individuazione di un’entità può essere calcolato sulla base della media derivata tramite l’unione dei valori di tutti i fattori che la determinano. Considereremo [+ individuato] un argomento umano, proprio, animato, concreto, singolare, numerabile, referenziale e [- individuato] un argomento inanimato, comune, astratto, plurale, non numerabile, non referenziale. Sia dal punto di vista semantico, sia da quello morfosintattico, si registra un’influenza reciproca tra individuazione e telicità. Ad esempio, nella frase “mangiare del pane”, l’oggetto è poco individuato; nella frase “mangiare una pagnotta di pane”, invece, l’oggetto è individuato e rappresenta l’argomento interno diretto del predicato. Ne consegue che nel primo caso l’interpretazione assegnata all’evento è atelica e nel secondo caso è telica. 2.3
Secondo Cruse (1971) l’agentività è presente in ogni frase che si riferisce ad un’azione effettuata 3 “X tempo” simboleggia un’espressione temporale numericamente quantificata: in due minuti, in due giorni, in due ore, in due anni… da un’entità che impiega la propria energia per condurre l’azione. Nella definizione di entità sono inclusi gli esseri viventi, alcuni tipi di macchine ed eventi naturali. Da ciò è possibile dedurre che l’argomento agentivo è prototipicamente il soggetto, essendo esso il promotore dell’azione, ed è sempre associato con una struttura logica4 di attività; e che solo verbi che possiedono nella loro struttura logica un predicato di attività possono avere un argomento agentivo. Nella struttura logica di un predicato, l’agentività è rappresentata come DO (x, [do (x, ...]. Ad esempio, se si confrontano i verbi “kill” e “murder” (il primo verbo può accogliere soggetti inanimanti, mentre il secondo no) la struttura logica si configura come: kill: [do (x, Ø)] CAUSE [BECOME dead (y)] murder: DO (x, [do (x, Ø] CAUSE [BECOME dead (y)]) (Pustejovsky e Batiukova, 2019).
Ci sono altri verbi, però, che possono assumere un’interpretazione agentiva. Infatti, il più delle volte, l’agentività è determinata dal modo in cui un verbo è utilizzato all’interno di una frase e non è un’inerente proprietà lessicale del verbo. In questi casi, l’agentività non fa parte del significato lessicale del verbo e non è rappresentata nella sua struttura logica, piuttosto è determinata da implicazioni basate sull’animatezza dell’attore e sulle proprietà lessicali del verbo. Holisky (1987) sostiene che l’interpretazione agentiva spesso sorge dall’intersezione tra le proprietà semantiche all’interno di una frase (le proprietà semantiche dell’attore NP e del predicato) e i principi generali di conversazione.
Un test molto semplice per capire se l’agentività è lessicalizzata in un verbo coinvolge l’avverbio “inavvertitamente” e consiste nel verificare se il suo impiego crea una contraddizione all’interno della frase. Se la frase diventa contraddittoria, allora il predicato verbale lessicalizza l’agentività.
È il caso di: “Gennaro ha assassinato *inavvertitamente il suo vicino”, in cui la contraddizione è evidente, quindi il predicato è agentivo. Anche l’agentività, come la telicità, è una proprietà che agisce nell’interfaccia tra sintassi e semantica. 3
Il nostro obiettivo è, quindi, indagare se GilBERTo è in grado di inferire la telicità (anche in combinazione con l’individuazione) e l’agentività e di utilizzare questa inferenza per il completamento di task morfosintattici. Inoltre, vogliamo determinare se l’elaborazione del modello può essere comparata a quella dei parlanti nei medesimi task.
Essendo entrambe queste proprietà semantiche, codificate morfosintatticamente, possiamo determinarne la corretta elaborazione mediante dei test morfosintattici. La risposta selezionata sarà dunque informativa dal punto di vista semantico.
Per garantire un confronto diretto tra il modello e i parlanti, ad entrambi verranno sottoposti i medesimi task. 3.1
I soggetti e il modello dovevano completare dei cloze test con la giusta opzione morfosintattica.
Abbiamo ideato tre task. Il primo task indaga la telicità, il secondo l’individuazione in rapporto alla telicità e il terzo l’agentività. Ogni task è composto da sessanta frasi affermative con verbo coniugato al passato prossimo.
Nel primo task sulla telicità le frasi dovevano essere completate con la preposizione “in” o “per” nelle locuzioni avverbiali “in/per X tempo”. I soggetti sono nomi comuni, impiegati alla terza persona, animati e, a volte, utilizzati con il supporto di un aggettivo possessivo. Abbiamo incluso verbi inerentemente telici (sia risultativi che trasformativi), verbi inerentemente atelici e verbi configurazionali (20 + 20 + 20). Nelle seguenti frasi, estratte dal primo task, riportiamo esempi con verbo telico (1), atelico (2) e configurazionale (3): (1) L’operaio ha demolito la casa in/per un’ora (2) Mia sorella ha dormito in/per tre ore (3) Il ragazzo ha corso in/per un’ora
Nel secondo task, che indaga la telicità in
relazione all’individuazione, abbiamo utilizzato lo
stesso cloze test. Tuttavia, abbiamo strutturato un
design fattoriale che divide le frasi in quattro
gruppi (di 15 frasi), secondo lo schema seguente:
Ⅰ gruppo: soggetto [+ ind]5 e oggetto [- ind]
Ⅱ gruppo: soggetto [+ ind] e oggetto [+ ind]
Ⅲ gruppo: soggetto [- ind] e oggetto [- ind]
Ⅳ gruppo: soggetto [- ind] e oggetto [+ ind]6
4 “[…] Logical Structures (LS) consisting of constants,
which mostly represent predicates, and modifiers
(BECOME, INGR, CAUSE, etc.). […] these elements are
not words from any natural language, but items of a
semantic metalanguage”
Ⅱ Mio fratello ha bevuto un bicchiere di latte in/per cinque minuti
Ⅲ I mobili hanno accumulato della polvere densa in/per dieci anni
Ⅳ I mobili hanno accumulato un sacco di polvere in/per dieci anni
Nel terzo task, che indaga l’agentività, le frasi dovevano essere completate con “inavvertitamente” o “intenzionalmente”. Abbiamo variato sia le proprietà del soggetto (includendo soggetti con il ruolo prototipico di actor, ma anche soggetti meno prototipici) e quelle dell’oggetto (includendo oggetti con il ruolo prototipico di undergoer, ma anche oggetti meno prototipici). Abbiamo incluso predicati verbali che hanno la proprietà dell’agentività lessicalizzata nella loro struttura semantica (quindi inerentemente agentivi), predicati verbali inerentemente inagentivi e predicati verbali che possono assumere entrambi i valori a seconda del contesto (20 + 20 + 20). Anche in questo caso abbiamo escluso i nomi propri ed i soggetti sono tutti animati ed alla terza persona. Il seguente esempio riporta rispettivamente un verbo agentivo, inagentivo e configurazionale: (4) Mio fratello ha deciso intenzionalmente/inavvertitamente di scegliere
(5) Mio fratello è invecchiato intenzionalmente/inavvertitamente
(6) Mio padre ha cotto intenzionalmente/inavvertitamente per molto tempo la carne
Nei primi due task, le frasi sottoposte al modello, contenevano una parola mascherata 7 nell’input e il modello doveva fornire come output, al suo posto, le prime cinque opzioni più probabili e le relative probabilità. Nel terzo task invece, il modello fornisce come output direttamente la frase completa con una delle opzioni. I parlanti, invece, dovevano scegliere in ognuno dei tre task l’opzione preferibile tra le due proposte. (“latte fresco”); con gli oggetti [+ individuati] si assiste allo schema opposto: nomi al singolare, con articolo determinativo, o nomi leggeri quantificatori (“un sacco di polvere”). Per favorire una comparazione diretta tra due frasi abbiamo utilizzato lo stesso predicato verbale 3.2
65 volontari madrelingua italiani avevano il compito di completare le frasi scegliendo l’opzione più opportuna. Ai parlanti venivano fornite le istruzioni per il completamento dei task all’inizio degli stessi. Tutti i dati sono stati raccolti tramite Google Forms. 3.3
GilBERTo è un modello del linguaggio italiano preaddestrato basato sull’architettura di RoBERTa e sull’approccio di tokenizzazione del testo di CamemBERT. Il modello è stato addestrato con la tecnica di mascheramento delle subwords per 100k passi gestendo 71 GB di testo italiano con 11.250.012.896 parole (OSCAR: Open Super-large Crawled Almanach coRpus). È stato considerato un vocabolario di 32k BPE (Byte-Pair Encoding) subwords, generate usando SentencePiece tokenizer. Nei primi due task è stata utilizzata la libreria pytorch\fairseq Python e nel terzo task la libreria FitBERT. 4
Le teorie linguistiche stabiliscono che i verbi inerentemente telici dovrebbero selezionare “in x tempo”, mentre gli inerentemente atelici “per x tempo”. I verbi configurazionali selezionano “in” o “per” a seconda dell’interpretazione telica che il soggetto vuole conferire alla frase. I dati del primo task confermano questo schema, come illustra la tabella 1, in cui sono riportate le preferenze del modello8 e dei parlanti.
in per 70 20 80 10 35 30
in per 100 0 0 100 50 50
Come si evince, i dati dei verbi inerentemente telici e inerentemente atelici di entrambi i gruppi presentano pochissima dispersione: l’interpretazione è telica o atelica a seconda del predicato verbale e non c’è indecisione tra le opzioni proposte. e lo stesso soggetto (nei primi due gruppi [+ individuato] e negli ultimi due [- individuato]) e abbiamo variato solo l’individuazione dell’oggetto. 7 Ad esempio: Il ragazzo ha corso <mask> un’ora. 8 Le percentuali del modello, nelle tabelle 1 e 2, corrispondono al valore della mediana, calcolata in relazione alle probabilità fornite dal modello come output. I verbi configurazionali invece, presentano, sia nel modello che nei parlanti, una dispersione dei dati più ampia e nessuna delle due opzioni risulta preferibile.
I dati del secondo task, raccolti nella tabella 2, presentano uno scenario più complesso.
Telici (Ⅱ gruppo) Telici (Ⅲ gruppo) Telici (Ⅳ gruppo) Atelici (Ⅰ gruppo) Atelici (Ⅱ gruppo) Atelici (Ⅲ gruppo) Atelici (Ⅳ gruppo) Config. (Ⅰ gruppo) Config. (Ⅱ gruppo) Config. (Ⅲ gruppo) Config. (Ⅳ gruppo)
I dati mostrano che il modello seleziona “in” solo con i verbi inerentemente telici (si registra uno scarto maggiore tra le due opzioni nel primo e nel terzo gruppo, in cui l’oggetto è [- individuato]). I parlanti, invece, con verbi inerentemente telici selezionano “in” in ognuno dei gruppi, tranne che nel primo (soggetto [+ individuato] e oggetto [- individuato]), in cui “per” viene preferito nel 55% dei casi. Contrariamente al modello, in cui, nel secondo e nel quarto gruppo (con oggetti [+ individuati]), “in” ottiene una probabilità vicina a quella di “per”, nei parlanti è del 100% (“per” non viene mai selezionato).
Con verbi inerentemente atelici, invece, i parlanti selezionano “in” quando l’oggetto è [+ individuato] e “per” quando l’oggetto è [- individuato] (nel secondo e nel quarto gruppo, quindi, rispettivamente nell’80% e nel 75% dei casi). Nel modello, invece, l’opzione “per” risulta preferibile in ognuno dei quattro casi considerati. Infine, con verbi configurazionali i parlanti mostrano una preferenza per “in” nel secondo gruppo (soggetto e oggetto [+ individuati]) e per “per” nei restanti tre. Nello specifico, però, nel primo gruppo (soggetto [+ individuato] e oggetto [- individuato]) “per” risulta vincente nel 100% dei casi (confermando i dati dei verbi inerentemente telici, in cui, nel 9 Le percentuali del modello, nella tabella 3, corrispondono al numero di frasi in cui il modello ha preferito inavvertitamente o intenzionalmente. primo gruppo, i parlanti selezionavano “per” al 55%); mentre, nel terzo e nel quarto gruppo (con soggetti [- individuati]), “per” ottiene percentuali più basse, determinando conseguentemente uno scarto inferiore tra le due opzioni. Il modello rispetta lo schema dei parlanti con la variazione delle probabilità di “per” tra primo gruppo (con soggetto [+ individuato] ha un valore del 90%) e terzo e quarto (con soggetto [-individuato] ha rispettivamente il 40% e il 60%); ma non conferma lo schema dei parlanti nel secondo gruppo (ha il 70%, mentre dai parlanti non veniva mai scelto).
Nella tabella 3 sono raccolti i dati 9 del terzo task.
Agentivi Inagentivi Config.
inavv. (70) intenz. (100) inavv. (65) inavv. (100) inavv. (60) inavv. (50) I risultati del terzo task mostrano che il modello sceglie l’opzione “inavvertitamente” in più dl 50% delle frasi, per ognuno dei tre gruppi di verbi, nonostante la variazione di agentività. I parlanti, invece, mostrano coerenza con le ipotesi linguistiche. 5
L’analisi aveva lo scopo di testare l’elaborazione della telicità (anche in rapporto all’individuazione) e dell’agentività, sia nei parlanti che nel modello, e di indagare se quest’elaborazione determina il giusto completamento morfosintattico. I dati mostrano che i parlanti operano in maniera coerente con l’ipotesi proposta e con la teoria linguistica. Infatti, è la telicità a determinare la giusta codifica morfosintattica. Inoltre, mostrano un’influenza evidente dell’individuazione sull’interpretazione telica. In presenza di verbi inerentemente telici i parlanti selezionano “in” senza essere influenzati dalla minore individuazione del soggetto. L’unico caso in cui la valenza telica inerente del predicato subisce una variazione è con soggetto [+ individuato] e oggetto [- individuato]. Questo stesso schema non si riscontra con soggetto [- individuato] e oggetto [- individuato].
Sappiamo che l’oggetto riveste prototipicamente il ruolo di paziente e che quindi è colui che nel caso di un evento telico subisce il mutamento di stato, quindi [+ coinvolto] e [+ individuato]10. D’altra parte, il soggetto è prototipicamente il promotore dell’azione, quindi [- coinvolto] e [- individuato] dell’oggetto. In questo caso, possiamo supporre che a guidare l’interpretazione atelica (nonostante la telicità inerente del predicato) sia la non prototipicità dei due argomenti nella frase11. A riprova, ciò non si verifica nelle frasi del terzo gruppo, in cui non vi è differenza tra coinvolgimento ed individuazione del soggetto e dell’oggetto.
Anche i dati comportamentali dei verbi inerentemente atelici risultano coerenti con l’ipotesi: i parlanti conferiscono un’interpretazione telica alle frasi in cui l’oggetto è [+ individuato] e atelica a quelle in cui è [- individuato]. Con i verbi configurazionali l’interpretazione telica è possibile solo se entrambi gli argomenti sono individuati. I dati comportamentali, inoltre, riflettono la natura scalare della telicità: i verbi configurazionali sono quelli che riportano una dispersione dei dati più ampia.
Questo tipo di elaborazione si riscontra anche nel modello, dove i verbi configurazionali non mostrano nessuna preferenza netta a favore di una delle due opzioni, dimostrando che il modello riesce ad inferire la natura scalare della telicità. Tuttavia, una differenza emerge nell’elaborazione dell’individuazione. Da un lato i parlanti sono influenzati dall’individuazione nell’interpretazione telica; d’altra parte, il modello non mostra la stessa sensibilità. Questa mancata elaborazione dell’individuazione viene confermata dal fatto che con verbi inerentemente telici il modello predilige sempre un’interpretazione telica e con verbi inerentemente atelici un’interpretazione atelica. Quindi l’accordo tra modello e parlanti è determinato dalle proprietà del predicato e non dall’individuazione di soggetto e oggetto.
Anche per l’agentività i parlanti mostrano coerenza con l’ipotesi e con le teorie linguistiche. Nei casi in cui l’agentività è codificata nell’informazione eventiva del verbo viene selezionato con una preferenza netta l’avverbio ad essa associato. Viceversa, accade con verbi inerentemente inagentivi; mentre i verbi configurazionali non mostrano preferenza per nessuna delle due opzioni. Il modello, al contrario, completa il task senza essere influenzato dall’agentività. Questo risultato potrebbe essere determinato dal tipo di task o dall’utilizzo di FitBERT, che per la prima volta viene applicato ad un modello basato sull’architettura di RoBERTa.
Generalizzando, il modello riesce ad utilizzare le proprietà semantiche veicolate dal predicato per determinare la giusta codifica morfosintattica: elabora, quindi, la telicità in coerenza con le teorie linguistiche, come una proprietà scalare. Tuttavia, non si può affermare che questa elaborazione avvenga anche per le proprietà semantiche che sono veicolate dal contesto dell’intera frase: l’agentività o la variazione della telicità dovuta all’individuazione. 6
La differenza di elaborazione tra modello e parlanti ci permette di proporre delle implicazioni dal punto di vista teorico. La prima implicazione è che seppure questi modelli mostrino una certa sensibilità e una certa aderenza al modo in cui i parlanti processano il linguaggio, non possono essere considerati un modello cognitivo di elaborazione del linguaggio. Tuttavia, questa analisi ci permette di ipotizzare la codifica di queste proprietà di semantica lessicale nell’informazione vettoriale dei modelli distribuzionali, facendo luce su quali sono le informazioni semantiche codificate.
Sicuramente esiste un’influenza distribuzionale nel modo in cui i parlanti utilizzano le informazioni, ma bisogna considerare anche fattori che dipendono dal contesto extralinguistico. In lavori futuri ha senso continuare ad indagare l’elaborazione di proprietà di semantica lessicale nei modelli distribuzionali, magari adottando altre tecniche di indagine e confrontando dati estratti da modelli diversi. Futuri lavori potranno indagare altre proprietà di semantica lessicale: ad esempio l’intransitività scissa.
Inoltre, il nostro lavoro può essere migliorato includendo lo studio dell’aspetto verbale e dell’influenza che questo ha nell’interpretazione della frase (coniugando le frasi non solo all’aspetto perfettivo, ma anche all’imperfettivo). Ad esempio, potrebbe essere interessante considerare il caso delle lingue slave che grammaticalizzano la telicità attraverso l’opposizione tra aspetto perfettivo e imperfettivo. Infine, questi studi potrebbero essere utilizzati per implementare questi modelli distribuzionali, migliorando il modo in cui veicolano la composizionalità semantica (a livello frasale). 10 Telicità, coinvolgimento e individuazione dell’oggetto sono anche alcuni dei parametri che determinano la transitività di una frase. 11 Il soggetto, in questo caso, ha le proprietà semantiche prototipiche dell’oggetto e, quest’ultimo, ha quelle prototipiche del soggetto.