=Paper= {{Paper |id=Vol-2253/paper47 |storemode=property |title=Progettare Chatbot: considerazioni e linee guida |pdfUrl=https://ceur-ws.org/Vol-2253/paper47.pdf |volume=Vol-2253 |authors=Eleonora Mollo,Amon Rapp,Dario Mana,Rossana Simeoni |dblpUrl=https://dblp.org/rec/conf/clic-it/MolloRMS18 }} ==Progettare Chatbot: considerazioni e linee guida== https://ceur-ws.org/Vol-2253/paper47.pdf
                 Progettare chatbot: considerazioni e linee guida

           Eleonora Mollo                                                Amon Rapp
    Università degli Studi di Torino                            Università degli Studi di Torino
      325545@edu.unito.it                                        amon.rapp@gmail.com

              Dario Mana                                                Rossana Simeoni
                 TIM                                                         TIM
dario.mana@telecomitalia.it                                 rossana.simeoni@telecomitalia.it



                                                        la presente ricerca ha l’obiettivo di analizzare le
                     Abstract                           attuali strategie per la costruzione di chatbot e
                                                        assistenti virtuali. Vengono di seguito delineati i
    Italiano. Il lavoro si propone di delineare         bisogni degli utenti in merito all’interazione con
    una serie di linee guida per la progetta-           i chatbot tramite una rassegna di survey condotte
    zione di chatbot e assistenti virtuali a par-       da importanti player industriali, quali Capgemini
    tire dall’analisi degli attuali trend di pro-       (Capgemini, 2017) e Amdocs (Amdocs, 2017).
    gettazione e delle esigenze lato utente ri-         Successivamente si è svolta un’indagine per ca-
    levate da precedenti lavori di rassegna             pire quali siano le caratteristiche che gli assisten-
    della letteratura esistente. Il presente la-        ti virtuali dovrebbero possedere, delineando
    voro è stato svolto nell’ambito del pro-            trend emergenti riguardanti “buone pratiche” di
    getto “Cognitive Solution for Intelligent           progettazione. Il risultato è una serie di indica-
    Caring” di TIM.                                     zioni che un progettista dovrebbe perseguire nel
                                                        momento in cui si propone di costruire un chat-
    English. This work is focused on the cur-           bot capace di soddisfare la CX. Con l’obiettivo
    rent trends in designing chatbots and vir-          di un’esplorazione preliminare del campo e non
    tual assistants. We start from users’               di una review sistematica, la ricerca è stata con-
    needs identified in industrial surveys on           dotta utilizzando Google Scholar a inizio 2018
    chatbots. The result is a collection of             con le seguenti parole chiave: conversational
    guidelines and considerations which re-             interface, invisible ui, no ui, assistente digitale,
    flect the state of the art.                         chatbot, chatops, scrollytelling, design patterns
                                                        conversational, question answering.
1    Introduzione
                                                        2     Esigenze degli utenti tratte da survey
Chatbot e assistenti virtuali sono un ambito in via           condotte da player industriali
di sviluppo. Numerose aziende si stanno muo-
vendo per sincronizzare le proprie funzioni di          L’indagine parte dall’analisi di tre survey realiz-
marketing, vendite e assistenza in modo da offri-       zate da i) Capgemini (Capgemini, 2017), società
re ai propri utenti un’esperienza positiva che in-      attiva nel settore della consulenza in ambito in-
contri le loro aspettative durante l’interazione.       formatico, ii) Amdocs (Amdocs, 2017), provider
Secondo una ricerca condotta da Oracle, “Can            di servizi informatici per attività di comunicazio-
virtual Experience replace reality”(Oracle, 2016),      ne e media, e iii) Chatbot.org (Chatbot.org,
brand B2B e B2C hanno compreso che ci sono              2018), sito web specializzato in assistenti virtua-
ampi margini per migliorare le proprie attività         li, realizzate per analizzare l’approccio utente-
grazie al supporto dell’intelligenza artificiale: tra   chatbot e per capire il loro possibile utilizzo futu-
le loro priorità c’è sicuramente un potenziamento       ro. Sono state scelte queste survey in quanto met-
della Customer Experience (CX). Il 78% dei              tono in luce le reali esigenze che gli utenti si tro-
brand intervistati hanno implementato o hanno           vano ad affrontare quando interagiscono con
programmato di indirizzare entro il 2020 inve-          questo tipo di strumenti. Lo studio condotto da
stimenti in Intelligenza Artificiale (IA) o in Real-    Capgemini (Capgemini, 2017) mette in luce il
tà Virtuale. Proprio in ottica di una migliore CX,      grande progresso che gli assistenti virtuali hanno
avuto nel tempo; sono gli stessi utenti a confer-      contrano nel momento in cui la conversazione
mare il trend in atto: entro i prossimi tre anni (la   passa da un assistente virtuale a un agente uma-
ricerca è datata Ottobre-Novembre 2017) si sup-        no: è spesso fonte di stress il fatto di dover ripe-
pone che il numero di consumatori che preferirà        tere una serie di informazioni precedentemente
rivolgersi ad un assistente piuttosto che andare in    comunicate al chatbot.
un negozio fisico raddoppierà. Un altro dato inte-
ressante, e che dovrà essere tenuto in considera-      3     Analisi dei trend
zione nel momento in cui si intende realizzare un
                                                       Nella analisi di quali siano le indicazioni per la
chatbot, riguarda il tipo di device che viene uti-
                                                       costruzione di assistenti virtuali è stato possibile
lizzato: lo smartphone risulta essere il mezzo più
                                                       riscontrare una varietà di linee guida. Ciascuno
comune, pertanto sarà necessario valutare
                                                       di questi trend trova una formalizzazione più o
l’eventuale utilizzo di spazi sullo schermo, vir-
                                                       meno forte all’interno della letteratura di tipo
tual keyboard ecc. In generale gli utenti sono
                                                       accademico, rintracciata tra i contributi più re-
soddisfatti di come avvengono le transazioni at-
                                                       centi nell’ambito della costruzione di assistenti
traverso chatbot. Le caratteristiche più apprezza-
                                                       virtuali. Altre indicazioni, invece, derivano da
te, e che vengono maggiormente ricercate nel
                                                       applicazioni di tipo pratico come suggerimento
momento in cui si decide di utilizzare un assi-
                                                       per la buona progettazione.
stente      virtuale,    sono       la     velocità,
                                                          Ogni chatbot presenta delle caratteristiche ge-
l’automatizzazione della routine d’acquisto, la
                                                       nerali che devono essere sempre realizzate:
personalizzazione, il risparmio di tempo e di sol-
di. Ancora oggi, però, permane l’esigenza da par-      3.1    Soluzione invisibile ai problemi
te dei consumatori di interfacciarsi con un agente
umano, in quanto si pensa che possa comprende-         Gli utenti non vogliono sapere come un assisten-
re meglio le loro esigenze e sia maggiormente          te virtuale raggiungerà la soluzione. Per le neces-
empatico rispetto all’umore dell’utente. Una del-      sità di velocità e semplicità, il consumatore non
le sfide che i progettisti di interfacce conversa-     deve sapere quali siano i meccanismi che sotten-
zionali dovranno affrontare riguarda proprio que-      dono alla soluzione del bisogno presentato (Ac-
sto aspetto: i soggetti si aspettano che le intera-    centure Interactive, 2017; Fadhil, 2018).
zioni con i chatbot si avvicinino quanto più pos-      3.2    Conoscenza dei path
sibile a quelle con gli umani, quindi si ricono-
scono esigenze di “umanità” (senza cadere nel          Per ottenere una risposta nel più breve tempo
fenomeno dell’uncanny valley (Ciechanowski et          possibile è importante che i chatbot abbiano ben
al., 2018)), empatia, buone maniere. Tra i pro-        chiaro quale sia il percorso da seguire per rag-
blemi principali si trovano la necessità di sicu-      giungere la soluzione. Avere un disegno netto,
rezza e di protezione dei dati personali; inoltre,     lineare delle opzioni più rilevanti per ciascuna
c’è poca fiducia nel fatto che gli assistenti sap-     richiesta proveniente dall’utente è fondamentale
piano correttamente interpretare le esigenze degli     (Fadhil, 2018; Daniel et al., 2018).
individui.                                             3.3    Focus su questioni specifiche
   Lo studio di Amdocs (Amdocs, 2017) contri-
buisce a dettagliare ulteriormente le esigenze         Il chatbot migliore è quello che si concentra su
espresse dai consumatori. Gli utenti vogliono          un argomento in particolare. Spesso ci troviamo
essere al centro del brand, quindi avere intera-       di fronte ad assistenti onniscienti, ma quelli che
zioni sempre più personalizzate e modellate sui        si muovono attorno a un ambito piuttosto ristret-
loro bisogni, devono poter utilizzare diversi ca-      to di tematiche hanno prestazioni migliori perché
nali per mettersi in contatto con l’azienda, so-       il range di questioni che vengono poste di volta
prattutto utilizzando lo smartphone. Anche in          in volta è limitato a pochi argomenti (Accenture
questo caso i motivi principali per cui si decide      Interactive, 2017; Action on Google, 2018; Fad-
di operare tramite assistenti virtuali vanno ricer-    hil, 2018).
cati nella velocità e nell’automazione. Problemi,
                                                       3.4    Capacità di predizione
invece, sono stati riscontrati nell’incapacità dei
chatbot nel risolvere questioni complesse oppure       Questo punto è strettamente collegato con la ne-
nella mancanza di empatia durante l’interazione.       cessità di personalizzazione che gli utenti richie-
   Per quanto riguarda la ricerca condotta da          dono agli assistenti virtuali. Se i chatbot cono-
Chatbot.org (Chatbot.org, 2018), il dato più rile-     scono, grazie ad interazioni precedenti oppure
vante riguarda la frustrazione che gli utenti in-      alle informazioni che possono acquisire da un
database, con chi stanno parlando, essi potrebbe-      3.8   Sicurezza
ro addirittura predire le scelte che si effettueran-
                                                       Il tema della sicurezza è sicuramente uno dei più
no. Si tratta quindi di conoscere le preferenze e
                                                       importanti per gli utenti, in quanto affidano i
saper anticipare ciò che i propri consumatori de-
                                                       propri dati sensibili a degli agenti digitali che
siderano (Fadhil, 2018; Daniel et al., 2018).
                                                       non possono controllare. È importante, quindi,
3.5   Riduzione del carico cognitivo                   che i chatbot risultino affidabili e che non scher-
                                                       zino con un patrimonio così prezioso (Eunji,
In questo caso si valuta l’importanza                  2017; Limerick et al., 2015; Luger et Sellen,
nell’utilizzare correttamente UI components co-        2016; Microsoft, 2018; Van Eeuwen, 2018).
me immagini, bottoni, carousel, quick reply.
Questi escamotage possono essere utilizzati per        3.9   Prima interazione
indirizzare la conversazione e rendere più agevo-
                                                       Il primo approccio con un assistente virtuale può
le sia per l’utente che per il bot la costruzione di
                                                       condizionare l’andamento di tutta la conversa-
un’interazione che sia soddisfacente per l’uno e
                                                       zione e rappresenta, quindi, un passaggio fonda-
gestibile per l’altro (Fadhil, 2018; Valério et al.,
                                                       mentale. La prima interazione può essere messa
2017; Knutsen et al., 2016; Kevin, 2016).
                                                       in atto facendo in modo che il bot si presenti e
3.6   Comprensione del contesto d’uso e di-            metta subito in mostra le proprie funzionalità;
      spositivo                                        utilizzando bottoni/menu/carousel che presenta-
                                                       no le azioni realizzabili. Iniziare con affermazio-
Nel momento in cui si intende progettare un bot        ni troppo generiche non aiuta; partire, invece,
bisognerebbe fare un’analisi di quali siano i di-      con un menu può essere un buon preludio
spositivi su cui vengono utilizzati e i contesti di    all’interazione (Microsoft, 2018; Valério et al.,
maggior impiego. A seconda del luogo in cui il         2017).
chatbot verrà usato si dovranno implementare              Ulteriori indicazioni utili per la realizzazione
determinate funzionalità e caratteristiche. Se-        di chatbot riguardano più nello specifico il de-
condo le ricerche di Capgemini (Capgemini,             sign della conversazione tra uomo e macchina:
2017) e Amdocs (Amdocs, 2017) il dispositivo
più utilizzato è lo smartphone, pertanto si do-        3.10 Comprensione del linguaggio naturale
vranno tenere in considerazione limitazioni di
                                                       Caratteristica necessaria è ovviamente la com-
spazio dello schermo dato, dato che la tastiera da
                                                       prensione del linguaggio naturale. Capacità
sola ne occupa la metà. Per questo motivo è ne-
                                                       tutt’altro che scontata dato che spesso le espres-
cessario evitare di scrivere testi lunghi per scon-
                                                       sioni umane sono denotate da slang, dialetti, frasi
giurare il rischio di scrolling. Quindi meglio sud-
                                                       fatte, complicando la comprensione dell’utente.
dividere la conversazione in brevi, ma efficaci,
                                                       In questo frangente vediamo che suggerimenti
interazioni, oppure reindirizzare l’utente verso un
                                                       provenienti da menu, carousel, quick replies pos-
sito terzo (Begany et al., 2015; Bianchini, 2017;
                                                       sono venire in aiuto nel rendere l’interazione più
Daniel et al., 2018; Morrissey et al., 2013; Ora-
                                                       agevole (Daniel et al., 2018; Fadhil, 2018; Fou-
cle, 2016).
                                                       rault, 2017; Microsoft, 2018).
3.7   Antropomorfizzazione
                                                       3.11 Input validation/feedback
Le conversazioni devono essere human-like,
                                                       Gli input inviati al chatbot devono venire in
quindi rispettare i canoni della comunicazione tra
                                                       qualche maniera validati da parte di
esseri umani. Gli utenti apprezzano interagire
                                                       quest’ultimo. È possibile chiedere una conferma
con bot che abbiano tratti riconducibili a quelli
                                                       all’utente, o ripetere le informazioni che sono
umani, ma senza arrivare all’eccessivo realismo.
                                                       state inserite (specialmente se riguardano dei pa-
Il pericolo che si corre è quello di cadere nel fe-
                                                       gamenti). Grazie a questo meccanismo si riesce a
nomeno        dell’uncanny       valley,    ovvero
                                                       conferire un grado di maggior sicurezza alle per-
un’antropomorfizzazione eccessiva che muove
                                                       sone, infondendo maggior fiducia nelle potenzia-
nel soggetto addirittura dei sentimenti di disgusto
                                                       lità del bot. Al termine della conversazione, inol-
e repulsione. Per evitare questo fenomeno i chat-
                                                       tre, può essere utile richiedere all’utente se sia
bot possono essere rappresentati in chiave fumet-
                                                       soddisfatto dell’interazione oppure se abbia dei
tistica, giocando con rappresentazioni grafiche
                                                       consigli per migliorarla (Action on Google,
(Araujo, 2018; Ciechanowski et al., 2018;
                                                       2018; Begany et al., 2015; Fadhil, 2018; Luger et
Kangsoo et al., 2018; Luger et al., 2016; Vinayak
                                                       Sellen, 2016).
et Arpit, 2018; Eunji, 2017).
3.12 Utilizzo dei menu a bottoni                        Ogni volta che l’utente commette un “errore”, il
                                                        bot deve rispondere in modo preciso, variando
La funzione di menu a bottoni e quick replies è
                                                        nelle proprie risposte e offrendo sempre una
già stata esplicitata, in quanto essi rappresentano
                                                        scappatoia. L’individuo deve anche essere messo
una possibile chiave di una navigazione semplice
                                                        nelle condizioni di tornare indietro qualora lo
ed efficace. Da notare che sussiste una differenza
                                                        ritenga necessario (Action on Google, 2018;
tra di essi: i bottoni non spariscono nel procedere
                                                        Fadhil, 2018; Eunji, 2017; Kevin, 2016).
della conversazione, mentre le quick replies sì.
Nell’economia dell’interazione andrebbe valuta-         3.18 Precedenti conversazioni visibili
to attentamente quale di questi componenti uti-
lizzare: se dare la possibilità all’utente di tornare   Per garantire anche una personalizzazione della
indietro e cambiare le proprie preferenze oppure        conversazione, può risultare utile tenere traccia
effettuare una nuova domanda (Eunji, 2017;              delle interazioni precedenti, in modo che l’utente
Fadhil, 2018; Fourault, 2017; Microsoft, 2018;          possa recuperare le informazioni in caso di ne-
Mohit et al., 2018).                                    cessità (Daniel et al., 2018; Mohit et al., 2018).

3.13 Conversazioni lineari e corte                      3.19 Chiudere le conversazioni in modo op-
                                                             portuno
Il discorso dovrebbe procedere con linearità sen-
za incappare in divagazioni, quindi non aprire          Al termine della conversazione l’utente deve es-
nuovi argomenti, ma procedere a senso unico con         sere invogliato a fare nuovamente uso del bot,
un botta e risposta tra utente e bot. Ovviamente        quindi il suo uso deve interrompersi in modo
le conversazioni devono essere le più concentrate       piacevole e magari invitare ad utilizzare altre
possibili, focalizzandosi su un dominio particola-      funzionalità (Action on Google, 2018; Eunji,
re di problemi e risolvendo in modo puntuale le         2017).
questioni proposte (Action on Google, 2018; Eu-         3.20 Gestione dell’attesa
nji, 2017; Fadhil, 2018).
                                                        Rispetto ad altre applicazioni, l’utente quando
3.14 Turn taking                                        interagisce con un assistente virtuale è disposto
Per ottenere un effetto human-like è opportuno          ad aspettare fino ad 8 secondi prima di ottenere
che la conversazione si svolga in modalità di bot-      una risposta. Nel caso l’attesa si protraesse nel
ta e risposta. Evitare, quindi, di far dare al bot      tempo, è anche possibile utilizzare degli espe-
una serie di risposte in sequenza senza permette-       dienti grafici come i typing indicator per mostra-
re all’utente di replicare (Action on Google,           re che il bot è ancora attivo e sta lavorando (Eun-
2018).                                                  ji, 2017).
                                                            Infine, vengono valutate le caratteristiche le-
3.15 Conoscenza del contesto linguistico                gate alla personalità del bot che contribuiscono a
                                                        rendere empatica e naturale la conversazione:
Questo è un tratto particolarmente problematico,
soprattutto in contesti fortemente caratterizzati       3.21 Buone maniere e presentazioni
da varietà linguistica e dialettale. Il bot deve po-
ter essere in grado di interpretare correttamente       Il chatbot si presenta, chiede le generalità
richieste che spesso non vengono formulate in           dell’utente, nel caso di errori si scusa, oppure nel
italiano corretto (Action on Google, 2018; Eunji,       momento in cui gli vengano fornite delle infor-
2017; Kevin, 2016; Mohit et al., 2018).                 mazioni ringrazia. Nel caso sia necessario chiede
                                                        informazioni e chiarimenti e soprattutto non deve
3.16 Flessibilità                                       scherzare con i dati sensibili degli utenti (Action
                                                        on Google, 2018; Morrissey et Kirakowski,
Il bot deve avere a disposizione un’ampia varietà
                                                        2013; Eunji, 2017).
di risposte in modo da non risultare pedante nelle
proprie affermazioni (Action on Google, 2018;           3.22 Empatia e naturalezza
Daniel et al., 2018; Eunji, 2017; Fadhil, 2018;
Kevin, 2016).                                           Relazionandosi con gli utenti, l’assistente virtua-
                                                        le deve reagire con moti empatici ad eventuali
3.17 Gestire gli errori e fornire una way out           sentimenti mostrati da essi. Può esternare rabbia,
                                                        felicità, tristezza in risposta al mood dell’utente
Per non mandare in confusione l’utente e per ga-
                                                        (Action on Google, 2018; Eunji, 2017; Fadhil,
rantire una certa fiducia nell’assistente virtuale
                                                        2018; Fourault, 2017).
una corretta gestione degli errori è importante.
3.23 Originalità                                      positivi rispetto a un determinato argomento, ma
                                                      anche dubbi e problematiche legati ad esso. La
Compito dell’assistente virtuale è saper anche
                                                      prima parte della tabella (1-2 pubblicazioni) in-
tenere viva la conversazione, quindi può suggeri-
                                                      dica gli aspetti che sono stati riscontrati una o
re altri spunti o funzionalità in modo da catturare
                                                      due volte nell’analisi dei trend di progettazione:
l’attenzione (Morrissey et Kirakowski, 2013).
                                                      alcuni di questi punti sono in realtà fondamentali
3.24 Coerenza                                         per il buon design e meriterebbero approfondi-
                                                      menti ulteriori. In particolare, la prima interazio-
Nel momento in cui si progetta un chatbot deve        ne che avviene tra bot e umano è un passaggio
essere chiaro quale personalità dovrà avere.          importante nell’approccio che gli utenti hanno
Quindi se ci si appresta a realizzare un assistente   con gli assistenti virtuali, così come è quasi dato
informale potrà muoversi lungo un registro anche      per scontato che la conversazione debba prevede-
piuttosto amichevole, senza cadere in atteggia-       re dei turni (turn taking). La seconda parte della
menti eccessivamente formali (Action on Goo-
                                                      tabella (3-4 pubblicazioni) prende atto delle linee
gle, 2018; Bianchini, 2017; Fadhil, 2018).            guida in fase di consolidamento per quanto ri-
                                                      guarda la letteratura: sono indicazioni per le qua-
4    Risultato dell’analisi
                                                      li si conta comunque un numero più alto di rife-
È stata realizzata una stratigrafia [figura 1]: uno   rimenti e che sono stati trattati in maniera più
studio delle pratiche conosciute fino ad ora, che     approfondita. La terza parte della stratigrafia (5
raccoglie i punti individuati analizzandone le        pubblicazioni e oltre) non rappresenta solo le
occorrenze, in modo da comprendere quali fra          linee guida più discusse, ma vede trattati alcuni
esse siano ormai un’abitudine consolidata e qua-      aspetti critici come l’antropomorfizzazione e la
li, invece, siano tuttora in via di rafforzamento.    sicurezza. In particolare, è stato messo in luce
La stratigrafia vuole rappresentare un sunto ri-      che una rappresentazione troppo umana del bot
spetto le linee guida incontrate, esplicitando in     provochi dei fenomeni di repulsione: tuttavia è
                                                      necessario che in qualche maniera ci si avvicini a
                                                      tale raffigurazione, specialmente in un’ottica di
                                                      conversazione human-like. Inoltre, la sicurezza
                                                      risulta una delle necessità più importanti per gli
                                                      utenti: questa esigenza deve essere soddisfatta
                                                      per ottenere fiducia da parte degli interlocutori.
                                                      In ogni caso i punti qui presentati sono oggetto di
                                                      ampia discussione in ambito di design.

                                                      5    Conclusioni
                                                      Grazie al lavoro di analisi e ricerca svolto è stato
                                                      possibile identificare, almeno a livello prelimina-
                                                      re, le linee guida utilizzabili in fase di progetta-
                                                      zione dei chatbot, specificando quali di queste
                                                      linee guida siano ancora in fase di discussione e
                                                      accettazione, e quali invece risultino pratica con-
                                                      solidata per il design di chatbot. Tali linee guida
                                                      sono in discussione nell’ambito del progetto TIM
                                                      “Cognitive Solution for Intelligent Caring” (No-
                                                      tiziario Tecnico TIM, 2018) al fine di una loro
                                                      adozione per garantire una efficace CX.
              Figura 1 - Stratigrafia
quante pubblicazioni esse vengono trattate. Ac-
canto ad ogni indicazione viene riportato il nu-
mero delle occorrenze. Il compito della stratigra-
fia è quello di proporre, oltre al mero inventario,
anche una riflessione critica rispetto allo stato
attuale dello studio intorno alla tematica dei
chatbot: non sono stati valutati solo i contributi
References                                                 https://arxiv.org/ftp/arxiv/papers/1802/1802.09055.
                                                           pdf
Accenture Interactive, Chatbots in customer service,
  www.accenture.com                                      Kim Kangsoo, Luke Boelling, Steffen Haesler, Jere-
                                                           my N. Bailenson, Gerd Bruder, Gregory F. Welch,
Action on Google, The conversational UI and why it         Does a Digital Assistant Need a Body? The
  matters, 2018 www.developers.google.com                  Influence of Visual Embodiment and Social Beha-
Amdocs, Human vs Machine: how to stop your virtual         vior on the Perception of Intelligent Virtual Agents
  agent       from     lagging behind,      2017           in     AR,       2018       https://sreal.ucf.edu/wp-
  http://solutions.amdocs.com                              content/uploads/2018/08/Kim2018a.pdf

Theo Araujo, Living up to the chatbot hype: The inl-     Scott Kevin, Usability heuristics for bots, 2016,
  fuence of antropomorphic design cues and com-            www.chatbotsmagazine.com
  municative agency framing on conversational agent      Dominique Knutsen, Ludovic Le Bigot, Christine
  anc company perception, Amsterdam School of              Ros, Explicit feedback from users attenuates me-
  Communication Research, University of Amster-            mory biases in human-system dialogue, J. of Hu-
  dam, in Computers in Human Behaviour 85, 183-            man-Computer Studies 97 (2017) 77–87, 2016
  185, 2018
                                                         Hanna Limerick, James W. Moore, David Coyle, Em-
Grace M. Begany, Ning Sa, Xiaojun Yuan, Factors            pirical Evidence for a Diminished Sense of Agency
  affecting user perception of a spoken language vs.       in Speech Interfaces. Proceedings of ACM Confe-
  textual search interface, Interacting with compu-        rence on Human factos in Computing system, Seul,
  ters, 28, 2: 170-180, 2015                               Republic of South Corea ACM CHI ’15, 2015
Alessia  Bianchini,         BotConference,       2017    Ewa Luger, Abigail Sellen, Like Having a Really Bad
  www.convcomp.it                                          PA, Proceedings of 2016 Conference on human
Nick C. Bradley, Thomas Fritz,Reid Holmes, Con-            factors in Computing System, ACM CHI ’16, San
  text-Aware Conversational Developer Assistants,          Jose, California, 2016
  in proceedings of 40th International Conference on     Vinayak Mathur, Arpit Singh, The rapidly changing
  Software Engineering, Gothenburg, Sweden, (IC-           landscape of conversational agent, College of In-
  SE’18), 2018                                             formation and Computer Sciences, University of
Capgemini Digital Transformation Istitute, Conversa-       Massachusetts             Amherst,          2018
  tional Commerce. Why consumers are embracing             https://arxiv.org/pdf/1803.08419.pdf
  voice    assistant    in   their     life,   2017      Microsoft, Bot service documentation, 2018
  www.capgemini.com                                        https://docs.microsoft.com/it-it/azure/bot-service/
Chatbot.org, Consumers say no to Chatbot Silos in        Jain Mohit, Kota Ramachandra, Kumar Pratyush, Pa-
  US and UK Survey, 2018 www.chatbots.org                   tel Shwetak, Convey: exploring the use of a context
Leon Ciechanowski, et al., In the shades of the un-         view           for         chatbots,          2018
  canny valley: An experimental study of human–             https://homes.cs.washington.edu/~mohitj/convey-
  chatbot interaction, Future Generation Computer           chi2018.pdf
  Systems,                                      2018     Kellie Morrissey, Jurek Kirakowski, Realness in
  https://doi.org/10.1016/j.future.2018.01.055.            chatbots: Establishing quantifiable criteria. In
Florian Daniel, Maristella Matera, Vittorio Zaccaria,      Kurosu M. (eds) Human-Computer Interaction. In-
   and Alessandro Dell’Orto. 2018. Toward Truly            teraction Modalities and Techniques. HCI 2013,
   Personal Chatbots: On the Development of Custom         lecture Notes in Computer Science, vol 8007,
   Conversational Assistants.                              Springer, Berlin, Heidelberg, 2013

Sébastien Fourault, The ultimate guide to designing a    Meschkat Steffen, Disambiguation of entity referen-
  chatbot           tech         stack,         2017       ces using related entities, Technical Disclosure
  www.chatbotsmagazine.com                                 Commons,                                    2018
                                                           https://www.tdcommons.org/dpubs_series/1108
Seo Eunji, 11 More best UX practices for building
  chatbots, 2017 www.chatbotsmagazine.com                Francisco Valério, Tatiane Gomes Guimarães, Raquel
                                                            Prates, Heloisa Candello, Here’s what I can do:
Seo Eunji, 19 UX Best practices for building chatbots,      Chatbots’ strategies to convey their features to
  2017 www.chatbotsmagazine.com                             users, IHC’17, Proceedings of the 16th Brazilian
Amhed Fadhil, Domain specific design patterns: desi-        symposium on human factors in computing sy-
  gning for conversational user interfaces, University      stems, Joinville, Brazil, 2017
  of                  Trento,                    2018    Milan Van Eeuwen, Mobile conversational commer-
                                                           ce: messenger chatbots as the next interface
  between businesses and consumers, University of
  Twente
  http://essay.utwente.nl/71706/1/van%20Eeuwen_
  MA_BMS.pdf
Mathur Vinayak, Singh Arpit, The rapidly changing
  landscape of conversational agent, College of In-
  formation and Computer Sciences, University of
  Massachusetts             Amherst,          2018
  https://arxiv.org/pdf/1803.08419.pdf
Notiziario Tecnico TIM, AI & Customer Interaction
  http://www.telecomitalia.com/tit/it/notiziariotecnic
  o/edizioni-2018/n-2-2018/capitolo-5.html
Oracle, Can virtual experiences replace reality? The
  future role for humans in delivering customer expe-
  rience, 2016 www.oracle.com