English. In this paper, we focus on linguistic questions over images which may be answered with a quantifier (e.g. How many dogs are black? Some/most/all of them, etc.). We show that in order to learn to quantify, a multimodal model has to obtain a genuine understanding of linguistic and visual inputs and of their interaction. We propose a model that extracts a fuzzy representation of the set of the queried objects (e.g. dogs) and of the queried property in relation to that set (e.g. black with respect to dogs), outputting the appropriate quantifier for that relation.
La linguistica computazionale ed i sistemi di visione artificiale stanno attraversando un momento particolarmente favorevole, ben rappresentato dallo sviluppo di modelli multimodali capaci di svolgere compiti che sembravano fuori portata fino a pochissimi anni fa, e che adesso si trovano integrati in molte applicazioni destinate all’utilizzo da parte degli utenti. Il compito di “Visual Question Answering” (VQA), finalizzato a rispondere
CIMeC, DISI a domande a partire da input visivi, e la generazione automatica di didascalie (“caption generation”) sono solo alcuni dei compiti in cui maggiormente si e` assistito a un rapido e inarrestabile miglioramento. Oltre a sfociare in dirette applicazioni nel mondo reale, dove i contenuti visivi giocano un ruolo cruciale, la performance di questi modelli di lingua e visione rappresenta anche un indicatore della misura in cui essi riescono a catturare il significato, fornendoci importanti intuizioni teoriche.
I recenti miglioramenti nel campo delle
applicazioni VQA sono da attribuire principalmente
alla nuova generazione di reti neurali artificiali di
apprendimento profondo (“deep learning neural
networks”), insieme alla crescente disponibilita` di
grandi dataset di immagini. Questi modelli hanno
dimostrato che anche reti neurali (RN) molto
semplici possono catturare interazioni complesse tra
le proprieta` di un dataset, spesso superando in
performance modelli molto piu` complessi. Ad
esempio,
Nel compito di VQA, le valutazioni dei modelli si basano su domande che riguardano le proprieta` di oggetti specifici, come la posizione, il colore, ecc., mentre nel compito di generazione di didascalie viene presa in considerazione l’intera immagine. In entrambi i casi, e` ovviamente possibile imparare correlazioni tra le parole presenti nella domanda, le parole presenti nella risposta e l’immagine stessa (o parti di essa). Presentata a un modello RN insieme alla domanda Cosa sta mangiando?, ad esempio, l’immagine di una persona che mangia una torta attivera` sicuramente l’associazione tra il verbo mangiare e proprieta` (sia linguistiche che visive) collegate al cibo, producendo la risposta corretta. Per testare un modello al di la` di questo semplice meccanismo, emerge la necessita` di proporre un compito in cui una particolare associazione tra domanda e immagine non dia come risultato sempre la stessa risposta.
Le domande riguardanti il “numero” sono
state studiate solo marginalmente in letteratura, e la
performance dei sistemi di VQA su queste
domande si e` dimostrata abbastanza scarsa
In cio` che segue, consideriamo il compito di
VQA come un problema di “fill in the blank”
(riempire uno spazio vuoto con la parola
corretta), e poniamo la domanda In che proporzione i
cani sono neri? nella seguente forma: cani
sono neri. Le possibili risposte sono selezionate
all’interno di un insieme di quantificatori linguistici,
ovvero no, few, some, most e all. Per assegnare il
quantificatore corretto, il modello deve essere in
grado di porre l’attenzione sugli oggetti rilevanti
(il restrittore del quantificatore) e di quantificare
gli oggetti che, all’interno di questo dominio
ristretto, possiedono la proprieta` richiesta (la
portata del quantificatore). Mostriamo che un
semplice modello BoW non e` sufficiente per compiere
efficacemente questo compito, e proponiamo un
modello RN alternativo e linguisticamente
motivato, la cui performance risulta essere superiore al
modello di
Abbiamo usato scenari contenenti ognuno sedici
immagini estratte da ImageNet. ImageNet ci
fornisce immagini annotate manualmente con
un’etichetta identificativa dell’oggetto (e.s., dog, wine,
pizza, ecc.) e diverse proprieta` associate ad esso
(e.s., black, furry, ecc.) Abbiamo selezionato
tutte le immagini di ImageNet annotate con almeno
una proprieta` per un totale di 9600 immagini
rappresentanti 203 tipi di oggetti e 24 proprieta`.
Abbiamo poi selezionato le immagini utili per la
costruzione del nostro dataset, mantenendo solo gli
oggetti che compaiono in un numero significativo
di immagini e che vengono menzionati
frequentemente nel corpus UkWaC.1 Questo ci permette
di ottenere rappresentazioni visive e linguistiche
adeguate. Applicando questa selezione, abbiamo
ottenuto 161 oggetti e 7124 immagini,2 che sono
state successivamente assemblate in scenari
“plausibili”. A tal fine abbiamo calcolato la probablita`
con cui due oggetti possano far parte di una stessa
scena utilizzando la loro co-occorrenza nelle
didascalie disponibili in MS-COCO
P M I (o1; o2) = log f (o1; o2) N f (o1) f (o2) (1) 1Abbiamo scelto oggetti con almeno 16 immagini e che occorrono nel corpus almeno 150 volte.
2Ognuno dei 161 oggetti e` rappresentato da una media di
48 immagini uniche (sd=99), con una distribuzione che va da
13 (pasta) a 1104 (dog). Ogni oggetto e` associato a un
numero di proprieta` che varia da un minimo di 2 (es. lion) ad
un massimo di 18 (es. dog) con una media pari a 8 (sd=3.4).
All’interno delle 7124 immagini uniche, la coppia
oggettoproprieta` piu` frequente e` furry dog con 769 occorrenze,
mentre le meno frequenti (es. pink salmon) occorrono in una sola
immagine (media=13.5, sd=37). Infine, la proprieta` piu`
frequente, furry, compare in 2936 immagini uniche, seguita da
brown (2782) e smooth (2266). La meno frequente e`
violet, che occorre in 24 immagini. La frequenza media e` 801
(sd=837).
in cui o1 e o2 sono due oggetti, f (o1; o2) conta
quante volte le etichette di o1 and o2 appaiono
nelle didascalie delle stesse immagini, f (o)
conta quante volte o appare nella didascalia di
MSCOCO in totale, e N e` il numero delle parole in
tutte le didascalie. Le etichette che non sono
usate nelle didascalie ricevono un valore
uniformemente distribuito in relazione a tutti gli altri
oggetti. 10,000 scenari sono stati generati secondo la
procedura seguente:
scegliamo un’etichetta a caso dall’insieme di
161 oggetti (e.s., dog);
scegliamo una proprieta` p dall’insieme delle
24 proprieta` (e.s., black);
selezioniamo n1 immagini che contengono
oggetti con l’etichetta l e n2 immagini che
contengono oggetti con l’etichetta l e
proprieta` p, cosi che 0 n1 16 and 0 n2
n1;
riempiamo le rimanenti celle dello
scenario (16 n1) con le immagini non
etichettate con l ed usando la distanza PMI per
scegliere oggetti che possano plausibilmente
co-occorrere con l’oggetto target;
usando la proporzione tra n1 e n2, calcoliamo
quale quantificatore assegnare allo scenario
assemblato, seguendo regole pre-definite: no
e all sono assegnati quando, rispettivamente,
nessun n1 o tutti gli n1 hanno la proprieta`
p. Per most e few usiamo le stime
riportate in
Come mostrato nell’esempio sopra descritto,
nel generare gli scenari abbiamo posto come
restrizione che il numero di immagini n1 etichettate
con il restrittore sia uguale o maggiore a 6.
Sulla base delle proporzioni che abbiamo usato per
definire i quantificatori, infatti, tale numero
rappresenta il valore minimo per coprire tutti i 5
casi di quantificazione. Questo significa che i
modelli non possono migliorare la loro accuratezza
semplicemente imparando la correlazione tra
valori bassi di n1 e la non plausibilita` di few/most negli
scenari associati. Inoltre, gli scenari sono
uniformemente distribuiti tra i 5 quantificatori. Di
conseguenza, ogni quantificatore descrive circa 2000
scenari.3
Rappresentazioni visive Per ogni immagine in
ciascuno scenario abbiamo estratto una
rappresentazione visiva usando una tecnica che si basa
su reti neurali convoluzionali (CNN)
espressa mediante due parole: parola1, il
restrittore del quantificatore, e parola2, la sua portata.
Ogni parola e` rappresentata da un vettore di 400
dimensioni costruito usando l’architettura CBOW
del pacchetto word2vec
Modelli
iBOWIMG e` il modello di domanda e risposta
su immagini (VQA) di
Rete neurale dei quantificatori (RNQ) Questo modello sfrutta i vantaggi delle reti neurali e riesce ad imaparare anche dai propri errori tramite backpropagation. Inoltre, disponendo di celle in cui archiviare le rappresentazioni vettoriali delle singole entita`, riesce ad ottenere un’astrazione dello scenario alla quale contribuiscono tutte gli oggetti dello scenario. I passi della rete nurale sono i seguenti: (1) i vettori visuali e linguistici sono transformati in uno spazio di trecento dimensioni (V 1). (2) I vettori visuali delle sedici immagini sono archiviati nelle celle della “memoria”: per ogni cella calcoliamo la somiglianza tra ciascun vettore visuale e il vettore linguistico rappresentante il nome della domanda (e.s. cane); a tal scopo utilizziamo la norma euclidea. Il risultato e` un vettore “di somiglianza” di sedici dimensioni (S1). (3) Calcoliamo quindi i vettori pesati di ogni entita` moltiplicando le celle della memoria V 1 con i valori corrispondenti di somiglianza in S1. Questo ci da` la rappresentazione di quanta “caninita`” ci sia in ognuno degli oggetti. (4) Sunto 1 e` calcolato sommando le celle della memoria con i vettori pesati e rappresenta quanta “caninita`” ci sia in un certo scenario. (5) Calcoliamo il prodotto scalare tra i vettori pesati (W 1) e il vettore linguistico della proprieta` (e.s. nero), e normalizziamo i valori con la norma euclidea. Il risultato e` un vettore di somiglianza di sedici dimensioni (S2). Un secondo vettore pesato W 2 e` ottenuto moltiplicanto W 1 e S2. Questo ci da la quantita` di “caninita` nera” in ogni oggetto. (6) Sunto 2 e` ottenuto sommando i nuovi vettori pesati che sono archiviati nelle celle della memoria e rappresenta quanta “caninita` nera” ci sia in un certo scenario. (7) Sunto 1 e Sunto 2 sono concatenati in un singolo vettore di seicento dimensioni che viene poi trasformato linearmente in un vettore di cinque dimensioni. (8) Applichiamo quindi un classificatore (softmax) che prende come input il vettore di cinque dimensioni e restituisce per ogni quantificatore la probabilita` che esso sia la risposta giusta. La rete neurale impara la proporzione tra il nome e la proprieta` che caratterizza la relazione espressa dal quantificatore. 4
Il modello a rete neurale RNQ ottiene un’accuratezza del 38.9% contro il 30.8% del modello iBOWIMG. Il modello RNQ va molto bene con no e all e va abbastanza bene con few e most. Ma la sua accuratezza diminuisce per some (18.16%), incidendo negativamente sul risultato complessivo. Una diversa analisi emerge invece dai risultati dell’altro modello, che va abbastanza bene nel predire no e all, ma va molto male negli altri casi. Per esso, few, most e some sono ugualmente difficili da imparare. Sono da rimarcare i suoi errori in particolare nell’apprendere few e most (si veda la Tabella 1). Questi quantificatori richiedono una comprensione piu` precisa delle proporzioni tra nome e proprieta` di quanta non ne richiedano no e all. Pensiamo, quindi, che cio` dimostri i limiti di un modello che non impara ad astrarre ed elaborare le proporzioni. Il modello RNQ compie errori comprensibili, confondendo ad esempio few con no ma non con some, most e all. Cio` dimostra che questo modello ha imparato a quantificare e non semplicemente a tener traccia delle correlazioni nel dataset. Al contrario, l’altro modello confonde few con no e con all in numero uguale.
In generale, il modello RNQ risulta essere piutsome all no few most some all no few most prediction correct wrong black blue brown furry gray green long metal ic orange pink rectangular red rough round shiny smooth spotted square striped violet wet white wooden yel ow property Figura 1: Risposte corrette e risposte sbagliate del modello in relazione alla frequenza della combinazione nome-proprieta`. tosto immune a possibili effetti collegati alla frequenza con cui ciascuna delle 24 proprieta` occorre nel dataset. Si potrebbe pensare che combinazioni molto frequenti vengano imparate meglio di combinazioni poco frequenti, ma questo si rivela essere vero solo per pochi casi, su cui spiccano red e rectangular. Nella maggior parte dei casi, il modello si comporta in modo simile, in termini di riposte giuste/sbagliate, di fronte a combinazioni poco o molto frequenti. Nel caso di alcuni colori (black, blue e violet), notiamo un’accuratezza piu` alta per combinazioni poco frequenti rispetto a casi molto frequenti (vedi Figura 1). Possiamo dire che la performance del modello RNQ non dipende da effetti di frequenza delle combinazioni presenti nel dataset. Di nuovo, quindi, non si tratta di imparare correlazioni presenti nel dataset, ma per svolgere il compito di quantificazione e` necessaria una comprensione piu` profonda dello scenario visivo e della domanda.
Il secondo autore ringrazia l’Erasmus Mundus European Masters Program in Language and Communication Technologies (EM LCT). Gli altri autori sono stati finanziati dal progetto COMPOSES (ERC 2011 Starting Independent Research Grant n. 283554). Ringraziamo NVIDIA Corporation per la donazione delle GPU usati per questa ricerca.