Progettare chatbot: considerazioni e linee guida Eleonora Mollo Amon Rapp Università degli Studi di Torino Università degli Studi di Torino 325545@edu.unito.it amon.rapp@gmail.com Dario Mana Rossana Simeoni TIM TIM dario.mana@telecomitalia.it rossana.simeoni@telecomitalia.it la presente ricerca ha l’obiettivo di analizzare le Abstract attuali strategie per la costruzione di chatbot e assistenti virtuali. Vengono di seguito delineati i Italiano. Il lavoro si propone di delineare bisogni degli utenti in merito all’interazione con una serie di linee guida per la progetta- i chatbot tramite una rassegna di survey condotte zione di chatbot e assistenti virtuali a par- da importanti player industriali, quali Capgemini tire dall’analisi degli attuali trend di pro- (Capgemini, 2017) e Amdocs (Amdocs, 2017). gettazione e delle esigenze lato utente ri- Successivamente si è svolta un’indagine per ca- levate da precedenti lavori di rassegna pire quali siano le caratteristiche che gli assisten- della letteratura esistente. Il presente la- ti virtuali dovrebbero possedere, delineando voro è stato svolto nell’ambito del pro- trend emergenti riguardanti “buone pratiche” di getto “Cognitive Solution for Intelligent progettazione. Il risultato è una serie di indica- Caring” di TIM. zioni che un progettista dovrebbe perseguire nel momento in cui si propone di costruire un chat- English. This work is focused on the cur- bot capace di soddisfare la CX. Con l’obiettivo rent trends in designing chatbots and vir- di un’esplorazione preliminare del campo e non tual assistants. We start from users’ di una review sistematica, la ricerca è stata con- needs identified in industrial surveys on dotta utilizzando Google Scholar a inizio 2018 chatbots. The result is a collection of con le seguenti parole chiave: conversational guidelines and considerations which re- interface, invisible ui, no ui, assistente digitale, flect the state of the art. chatbot, chatops, scrollytelling, design patterns conversational, question answering. 1 Introduzione 2 Esigenze degli utenti tratte da survey Chatbot e assistenti virtuali sono un ambito in via condotte da player industriali di sviluppo. Numerose aziende si stanno muo- vendo per sincronizzare le proprie funzioni di L’indagine parte dall’analisi di tre survey realiz- marketing, vendite e assistenza in modo da offri- zate da i) Capgemini (Capgemini, 2017), società re ai propri utenti un’esperienza positiva che in- attiva nel settore della consulenza in ambito in- contri le loro aspettative durante l’interazione. formatico, ii) Amdocs (Amdocs, 2017), provider Secondo una ricerca condotta da Oracle, “Can di servizi informatici per attività di comunicazio- virtual Experience replace reality”(Oracle, 2016), ne e media, e iii) Chatbot.org (Chatbot.org, brand B2B e B2C hanno compreso che ci sono 2018), sito web specializzato in assistenti virtua- ampi margini per migliorare le proprie attività li, realizzate per analizzare l’approccio utente- grazie al supporto dell’intelligenza artificiale: tra chatbot e per capire il loro possibile utilizzo futu- le loro priorità c’è sicuramente un potenziamento ro. Sono state scelte queste survey in quanto met- della Customer Experience (CX). Il 78% dei tono in luce le reali esigenze che gli utenti si tro- brand intervistati hanno implementato o hanno vano ad affrontare quando interagiscono con programmato di indirizzare entro il 2020 inve- questo tipo di strumenti. Lo studio condotto da stimenti in Intelligenza Artificiale (IA) o in Real- Capgemini (Capgemini, 2017) mette in luce il tà Virtuale. Proprio in ottica di una migliore CX, grande progresso che gli assistenti virtuali hanno avuto nel tempo; sono gli stessi utenti a confer- contrano nel momento in cui la conversazione mare il trend in atto: entro i prossimi tre anni (la passa da un assistente virtuale a un agente uma- ricerca è datata Ottobre-Novembre 2017) si sup- no: è spesso fonte di stress il fatto di dover ripe- pone che il numero di consumatori che preferirà tere una serie di informazioni precedentemente rivolgersi ad un assistente piuttosto che andare in comunicate al chatbot. un negozio fisico raddoppierà. Un altro dato inte- ressante, e che dovrà essere tenuto in considera- 3 Analisi dei trend zione nel momento in cui si intende realizzare un Nella analisi di quali siano le indicazioni per la chatbot, riguarda il tipo di device che viene uti- costruzione di assistenti virtuali è stato possibile lizzato: lo smartphone risulta essere il mezzo più riscontrare una varietà di linee guida. Ciascuno comune, pertanto sarà necessario valutare di questi trend trova una formalizzazione più o l’eventuale utilizzo di spazi sullo schermo, vir- meno forte all’interno della letteratura di tipo tual keyboard ecc. In generale gli utenti sono accademico, rintracciata tra i contributi più re- soddisfatti di come avvengono le transazioni at- centi nell’ambito della costruzione di assistenti traverso chatbot. Le caratteristiche più apprezza- virtuali. Altre indicazioni, invece, derivano da te, e che vengono maggiormente ricercate nel applicazioni di tipo pratico come suggerimento momento in cui si decide di utilizzare un assi- per la buona progettazione. stente virtuale, sono la velocità, Ogni chatbot presenta delle caratteristiche ge- l’automatizzazione della routine d’acquisto, la nerali che devono essere sempre realizzate: personalizzazione, il risparmio di tempo e di sol- di. Ancora oggi, però, permane l’esigenza da par- 3.1 Soluzione invisibile ai problemi te dei consumatori di interfacciarsi con un agente umano, in quanto si pensa che possa comprende- Gli utenti non vogliono sapere come un assisten- re meglio le loro esigenze e sia maggiormente te virtuale raggiungerà la soluzione. Per le neces- empatico rispetto all’umore dell’utente. Una del- sità di velocità e semplicità, il consumatore non le sfide che i progettisti di interfacce conversa- deve sapere quali siano i meccanismi che sotten- zionali dovranno affrontare riguarda proprio que- dono alla soluzione del bisogno presentato (Ac- sto aspetto: i soggetti si aspettano che le intera- centure Interactive, 2017; Fadhil, 2018). zioni con i chatbot si avvicinino quanto più pos- 3.2 Conoscenza dei path sibile a quelle con gli umani, quindi si ricono- scono esigenze di “umanità” (senza cadere nel Per ottenere una risposta nel più breve tempo fenomeno dell’uncanny valley (Ciechanowski et possibile è importante che i chatbot abbiano ben al., 2018)), empatia, buone maniere. Tra i pro- chiaro quale sia il percorso da seguire per rag- blemi principali si trovano la necessità di sicu- giungere la soluzione. Avere un disegno netto, rezza e di protezione dei dati personali; inoltre, lineare delle opzioni più rilevanti per ciascuna c’è poca fiducia nel fatto che gli assistenti sap- richiesta proveniente dall’utente è fondamentale piano correttamente interpretare le esigenze degli (Fadhil, 2018; Daniel et al., 2018). individui. 3.3 Focus su questioni specifiche Lo studio di Amdocs (Amdocs, 2017) contri- buisce a dettagliare ulteriormente le esigenze Il chatbot migliore è quello che si concentra su espresse dai consumatori. Gli utenti vogliono un argomento in particolare. Spesso ci troviamo essere al centro del brand, quindi avere intera- di fronte ad assistenti onniscienti, ma quelli che zioni sempre più personalizzate e modellate sui si muovono attorno a un ambito piuttosto ristret- loro bisogni, devono poter utilizzare diversi ca- to di tematiche hanno prestazioni migliori perché nali per mettersi in contatto con l’azienda, so- il range di questioni che vengono poste di volta prattutto utilizzando lo smartphone. Anche in in volta è limitato a pochi argomenti (Accenture questo caso i motivi principali per cui si decide Interactive, 2017; Action on Google, 2018; Fad- di operare tramite assistenti virtuali vanno ricer- hil, 2018). cati nella velocità e nell’automazione. Problemi, 3.4 Capacità di predizione invece, sono stati riscontrati nell’incapacità dei chatbot nel risolvere questioni complesse oppure Questo punto è strettamente collegato con la ne- nella mancanza di empatia durante l’interazione. cessità di personalizzazione che gli utenti richie- Per quanto riguarda la ricerca condotta da dono agli assistenti virtuali. Se i chatbot cono- Chatbot.org (Chatbot.org, 2018), il dato più rile- scono, grazie ad interazioni precedenti oppure vante riguarda la frustrazione che gli utenti in- alle informazioni che possono acquisire da un database, con chi stanno parlando, essi potrebbe- 3.8 Sicurezza ro addirittura predire le scelte che si effettueran- Il tema della sicurezza è sicuramente uno dei più no. Si tratta quindi di conoscere le preferenze e importanti per gli utenti, in quanto affidano i saper anticipare ciò che i propri consumatori de- propri dati sensibili a degli agenti digitali che siderano (Fadhil, 2018; Daniel et al., 2018). non possono controllare. È importante, quindi, 3.5 Riduzione del carico cognitivo che i chatbot risultino affidabili e che non scher- zino con un patrimonio così prezioso (Eunji, In questo caso si valuta l’importanza 2017; Limerick et al., 2015; Luger et Sellen, nell’utilizzare correttamente UI components co- 2016; Microsoft, 2018; Van Eeuwen, 2018). me immagini, bottoni, carousel, quick reply. Questi escamotage possono essere utilizzati per 3.9 Prima interazione indirizzare la conversazione e rendere più agevo- Il primo approccio con un assistente virtuale può le sia per l’utente che per il bot la costruzione di condizionare l’andamento di tutta la conversa- un’interazione che sia soddisfacente per l’uno e zione e rappresenta, quindi, un passaggio fonda- gestibile per l’altro (Fadhil, 2018; Valério et al., mentale. La prima interazione può essere messa 2017; Knutsen et al., 2016; Kevin, 2016). in atto facendo in modo che il bot si presenti e 3.6 Comprensione del contesto d’uso e di- metta subito in mostra le proprie funzionalità; spositivo utilizzando bottoni/menu/carousel che presenta- no le azioni realizzabili. Iniziare con affermazio- Nel momento in cui si intende progettare un bot ni troppo generiche non aiuta; partire, invece, bisognerebbe fare un’analisi di quali siano i di- con un menu può essere un buon preludio spositivi su cui vengono utilizzati e i contesti di all’interazione (Microsoft, 2018; Valério et al., maggior impiego. A seconda del luogo in cui il 2017). chatbot verrà usato si dovranno implementare Ulteriori indicazioni utili per la realizzazione determinate funzionalità e caratteristiche. Se- di chatbot riguardano più nello specifico il de- condo le ricerche di Capgemini (Capgemini, sign della conversazione tra uomo e macchina: 2017) e Amdocs (Amdocs, 2017) il dispositivo più utilizzato è lo smartphone, pertanto si do- 3.10 Comprensione del linguaggio naturale vranno tenere in considerazione limitazioni di Caratteristica necessaria è ovviamente la com- spazio dello schermo dato, dato che la tastiera da prensione del linguaggio naturale. Capacità sola ne occupa la metà. Per questo motivo è ne- tutt’altro che scontata dato che spesso le espres- cessario evitare di scrivere testi lunghi per scon- sioni umane sono denotate da slang, dialetti, frasi giurare il rischio di scrolling. Quindi meglio sud- fatte, complicando la comprensione dell’utente. dividere la conversazione in brevi, ma efficaci, In questo frangente vediamo che suggerimenti interazioni, oppure reindirizzare l’utente verso un provenienti da menu, carousel, quick replies pos- sito terzo (Begany et al., 2015; Bianchini, 2017; sono venire in aiuto nel rendere l’interazione più Daniel et al., 2018; Morrissey et al., 2013; Ora- agevole (Daniel et al., 2018; Fadhil, 2018; Fou- cle, 2016). rault, 2017; Microsoft, 2018). 3.7 Antropomorfizzazione 3.11 Input validation/feedback Le conversazioni devono essere human-like, Gli input inviati al chatbot devono venire in quindi rispettare i canoni della comunicazione tra qualche maniera validati da parte di esseri umani. Gli utenti apprezzano interagire quest’ultimo. È possibile chiedere una conferma con bot che abbiano tratti riconducibili a quelli all’utente, o ripetere le informazioni che sono umani, ma senza arrivare all’eccessivo realismo. state inserite (specialmente se riguardano dei pa- Il pericolo che si corre è quello di cadere nel fe- gamenti). Grazie a questo meccanismo si riesce a nomeno dell’uncanny valley, ovvero conferire un grado di maggior sicurezza alle per- un’antropomorfizzazione eccessiva che muove sone, infondendo maggior fiducia nelle potenzia- nel soggetto addirittura dei sentimenti di disgusto lità del bot. Al termine della conversazione, inol- e repulsione. Per evitare questo fenomeno i chat- tre, può essere utile richiedere all’utente se sia bot possono essere rappresentati in chiave fumet- soddisfatto dell’interazione oppure se abbia dei tistica, giocando con rappresentazioni grafiche consigli per migliorarla (Action on Google, (Araujo, 2018; Ciechanowski et al., 2018; 2018; Begany et al., 2015; Fadhil, 2018; Luger et Kangsoo et al., 2018; Luger et al., 2016; Vinayak Sellen, 2016). et Arpit, 2018; Eunji, 2017). 3.12 Utilizzo dei menu a bottoni Ogni volta che l’utente commette un “errore”, il bot deve rispondere in modo preciso, variando La funzione di menu a bottoni e quick replies è nelle proprie risposte e offrendo sempre una già stata esplicitata, in quanto essi rappresentano scappatoia. L’individuo deve anche essere messo una possibile chiave di una navigazione semplice nelle condizioni di tornare indietro qualora lo ed efficace. Da notare che sussiste una differenza ritenga necessario (Action on Google, 2018; tra di essi: i bottoni non spariscono nel procedere Fadhil, 2018; Eunji, 2017; Kevin, 2016). della conversazione, mentre le quick replies sì. Nell’economia dell’interazione andrebbe valuta- 3.18 Precedenti conversazioni visibili to attentamente quale di questi componenti uti- lizzare: se dare la possibilità all’utente di tornare Per garantire anche una personalizzazione della indietro e cambiare le proprie preferenze oppure conversazione, può risultare utile tenere traccia effettuare una nuova domanda (Eunji, 2017; delle interazioni precedenti, in modo che l’utente Fadhil, 2018; Fourault, 2017; Microsoft, 2018; possa recuperare le informazioni in caso di ne- Mohit et al., 2018). cessità (Daniel et al., 2018; Mohit et al., 2018). 3.13 Conversazioni lineari e corte 3.19 Chiudere le conversazioni in modo op- portuno Il discorso dovrebbe procedere con linearità sen- za incappare in divagazioni, quindi non aprire Al termine della conversazione l’utente deve es- nuovi argomenti, ma procedere a senso unico con sere invogliato a fare nuovamente uso del bot, un botta e risposta tra utente e bot. Ovviamente quindi il suo uso deve interrompersi in modo le conversazioni devono essere le più concentrate piacevole e magari invitare ad utilizzare altre possibili, focalizzandosi su un dominio particola- funzionalità (Action on Google, 2018; Eunji, re di problemi e risolvendo in modo puntuale le 2017). questioni proposte (Action on Google, 2018; Eu- 3.20 Gestione dell’attesa nji, 2017; Fadhil, 2018). Rispetto ad altre applicazioni, l’utente quando 3.14 Turn taking interagisce con un assistente virtuale è disposto Per ottenere un effetto human-like è opportuno ad aspettare fino ad 8 secondi prima di ottenere che la conversazione si svolga in modalità di bot- una risposta. Nel caso l’attesa si protraesse nel ta e risposta. Evitare, quindi, di far dare al bot tempo, è anche possibile utilizzare degli espe- una serie di risposte in sequenza senza permette- dienti grafici come i typing indicator per mostra- re all’utente di replicare (Action on Google, re che il bot è ancora attivo e sta lavorando (Eun- 2018). ji, 2017). Infine, vengono valutate le caratteristiche le- 3.15 Conoscenza del contesto linguistico gate alla personalità del bot che contribuiscono a rendere empatica e naturale la conversazione: Questo è un tratto particolarmente problematico, soprattutto in contesti fortemente caratterizzati 3.21 Buone maniere e presentazioni da varietà linguistica e dialettale. Il bot deve po- ter essere in grado di interpretare correttamente Il chatbot si presenta, chiede le generalità richieste che spesso non vengono formulate in dell’utente, nel caso di errori si scusa, oppure nel italiano corretto (Action on Google, 2018; Eunji, momento in cui gli vengano fornite delle infor- 2017; Kevin, 2016; Mohit et al., 2018). mazioni ringrazia. Nel caso sia necessario chiede informazioni e chiarimenti e soprattutto non deve 3.16 Flessibilità scherzare con i dati sensibili degli utenti (Action on Google, 2018; Morrissey et Kirakowski, Il bot deve avere a disposizione un’ampia varietà 2013; Eunji, 2017). di risposte in modo da non risultare pedante nelle proprie affermazioni (Action on Google, 2018; 3.22 Empatia e naturalezza Daniel et al., 2018; Eunji, 2017; Fadhil, 2018; Kevin, 2016). Relazionandosi con gli utenti, l’assistente virtua- le deve reagire con moti empatici ad eventuali 3.17 Gestire gli errori e fornire una way out sentimenti mostrati da essi. Può esternare rabbia, felicità, tristezza in risposta al mood dell’utente Per non mandare in confusione l’utente e per ga- (Action on Google, 2018; Eunji, 2017; Fadhil, rantire una certa fiducia nell’assistente virtuale 2018; Fourault, 2017). una corretta gestione degli errori è importante. 3.23 Originalità positivi rispetto a un determinato argomento, ma anche dubbi e problematiche legati ad esso. La Compito dell’assistente virtuale è saper anche prima parte della tabella (1-2 pubblicazioni) in- tenere viva la conversazione, quindi può suggeri- dica gli aspetti che sono stati riscontrati una o re altri spunti o funzionalità in modo da catturare due volte nell’analisi dei trend di progettazione: l’attenzione (Morrissey et Kirakowski, 2013). alcuni di questi punti sono in realtà fondamentali 3.24 Coerenza per il buon design e meriterebbero approfondi- menti ulteriori. In particolare, la prima interazio- Nel momento in cui si progetta un chatbot deve ne che avviene tra bot e umano è un passaggio essere chiaro quale personalità dovrà avere. importante nell’approccio che gli utenti hanno Quindi se ci si appresta a realizzare un assistente con gli assistenti virtuali, così come è quasi dato informale potrà muoversi lungo un registro anche per scontato che la conversazione debba prevede- piuttosto amichevole, senza cadere in atteggia- re dei turni (turn taking). La seconda parte della menti eccessivamente formali (Action on Goo- tabella (3-4 pubblicazioni) prende atto delle linee gle, 2018; Bianchini, 2017; Fadhil, 2018). guida in fase di consolidamento per quanto ri- guarda la letteratura: sono indicazioni per le qua- 4 Risultato dell’analisi li si conta comunque un numero più alto di rife- È stata realizzata una stratigrafia [figura 1]: uno rimenti e che sono stati trattati in maniera più studio delle pratiche conosciute fino ad ora, che approfondita. La terza parte della stratigrafia (5 raccoglie i punti individuati analizzandone le pubblicazioni e oltre) non rappresenta solo le occorrenze, in modo da comprendere quali fra linee guida più discusse, ma vede trattati alcuni esse siano ormai un’abitudine consolidata e qua- aspetti critici come l’antropomorfizzazione e la li, invece, siano tuttora in via di rafforzamento. sicurezza. In particolare, è stato messo in luce La stratigrafia vuole rappresentare un sunto ri- che una rappresentazione troppo umana del bot spetto le linee guida incontrate, esplicitando in provochi dei fenomeni di repulsione: tuttavia è necessario che in qualche maniera ci si avvicini a tale raffigurazione, specialmente in un’ottica di conversazione human-like. Inoltre, la sicurezza risulta una delle necessità più importanti per gli utenti: questa esigenza deve essere soddisfatta per ottenere fiducia da parte degli interlocutori. In ogni caso i punti qui presentati sono oggetto di ampia discussione in ambito di design. 5 Conclusioni Grazie al lavoro di analisi e ricerca svolto è stato possibile identificare, almeno a livello prelimina- re, le linee guida utilizzabili in fase di progetta- zione dei chatbot, specificando quali di queste linee guida siano ancora in fase di discussione e accettazione, e quali invece risultino pratica con- solidata per il design di chatbot. Tali linee guida sono in discussione nell’ambito del progetto TIM “Cognitive Solution for Intelligent Caring” (No- tiziario Tecnico TIM, 2018) al fine di una loro adozione per garantire una efficace CX. Figura 1 - Stratigrafia quante pubblicazioni esse vengono trattate. Ac- canto ad ogni indicazione viene riportato il nu- mero delle occorrenze. Il compito della stratigra- fia è quello di proporre, oltre al mero inventario, anche una riflessione critica rispetto allo stato attuale dello studio intorno alla tematica dei chatbot: non sono stati valutati solo i contributi References https://arxiv.org/ftp/arxiv/papers/1802/1802.09055. pdf Accenture Interactive, Chatbots in customer service, www.accenture.com Kim Kangsoo, Luke Boelling, Steffen Haesler, Jere- my N. Bailenson, Gerd Bruder, Gregory F. Welch, Action on Google, The conversational UI and why it Does a Digital Assistant Need a Body? The matters, 2018 www.developers.google.com Influence of Visual Embodiment and Social Beha- Amdocs, Human vs Machine: how to stop your virtual vior on the Perception of Intelligent Virtual Agents agent from lagging behind, 2017 in AR, 2018 https://sreal.ucf.edu/wp- http://solutions.amdocs.com content/uploads/2018/08/Kim2018a.pdf Theo Araujo, Living up to the chatbot hype: The inl- Scott Kevin, Usability heuristics for bots, 2016, fuence of antropomorphic design cues and com- www.chatbotsmagazine.com municative agency framing on conversational agent Dominique Knutsen, Ludovic Le Bigot, Christine anc company perception, Amsterdam School of Ros, Explicit feedback from users attenuates me- Communication Research, University of Amster- mory biases in human-system dialogue, J. of Hu- dam, in Computers in Human Behaviour 85, 183- man-Computer Studies 97 (2017) 77–87, 2016 185, 2018 Hanna Limerick, James W. Moore, David Coyle, Em- Grace M. Begany, Ning Sa, Xiaojun Yuan, Factors pirical Evidence for a Diminished Sense of Agency affecting user perception of a spoken language vs. in Speech Interfaces. Proceedings of ACM Confe- textual search interface, Interacting with compu- rence on Human factos in Computing system, Seul, ters, 28, 2: 170-180, 2015 Republic of South Corea ACM CHI ’15, 2015 Alessia Bianchini, BotConference, 2017 Ewa Luger, Abigail Sellen, Like Having a Really Bad www.convcomp.it PA, Proceedings of 2016 Conference on human Nick C. Bradley, Thomas Fritz,Reid Holmes, Con- factors in Computing System, ACM CHI ’16, San text-Aware Conversational Developer Assistants, Jose, California, 2016 in proceedings of 40th International Conference on Vinayak Mathur, Arpit Singh, The rapidly changing Software Engineering, Gothenburg, Sweden, (IC- landscape of conversational agent, College of In- SE’18), 2018 formation and Computer Sciences, University of Capgemini Digital Transformation Istitute, Conversa- Massachusetts Amherst, 2018 tional Commerce. Why consumers are embracing https://arxiv.org/pdf/1803.08419.pdf voice assistant in their life, 2017 Microsoft, Bot service documentation, 2018 www.capgemini.com https://docs.microsoft.com/it-it/azure/bot-service/ Chatbot.org, Consumers say no to Chatbot Silos in Jain Mohit, Kota Ramachandra, Kumar Pratyush, Pa- US and UK Survey, 2018 www.chatbots.org tel Shwetak, Convey: exploring the use of a context Leon Ciechanowski, et al., In the shades of the un- view for chatbots, 2018 canny valley: An experimental study of human– https://homes.cs.washington.edu/~mohitj/convey- chatbot interaction, Future Generation Computer chi2018.pdf Systems, 2018 Kellie Morrissey, Jurek Kirakowski, Realness in https://doi.org/10.1016/j.future.2018.01.055. chatbots: Establishing quantifiable criteria. In Florian Daniel, Maristella Matera, Vittorio Zaccaria, Kurosu M. (eds) Human-Computer Interaction. In- and Alessandro Dell’Orto. 2018. Toward Truly teraction Modalities and Techniques. HCI 2013, Personal Chatbots: On the Development of Custom lecture Notes in Computer Science, vol 8007, Conversational Assistants. Springer, Berlin, Heidelberg, 2013 Sébastien Fourault, The ultimate guide to designing a Meschkat Steffen, Disambiguation of entity referen- chatbot tech stack, 2017 ces using related entities, Technical Disclosure www.chatbotsmagazine.com Commons, 2018 https://www.tdcommons.org/dpubs_series/1108 Seo Eunji, 11 More best UX practices for building chatbots, 2017 www.chatbotsmagazine.com Francisco Valério, Tatiane Gomes Guimarães, Raquel Prates, Heloisa Candello, Here’s what I can do: Seo Eunji, 19 UX Best practices for building chatbots, Chatbots’ strategies to convey their features to 2017 www.chatbotsmagazine.com users, IHC’17, Proceedings of the 16th Brazilian Amhed Fadhil, Domain specific design patterns: desi- symposium on human factors in computing sy- gning for conversational user interfaces, University stems, Joinville, Brazil, 2017 of Trento, 2018 Milan Van Eeuwen, Mobile conversational commer- ce: messenger chatbots as the next interface between businesses and consumers, University of Twente http://essay.utwente.nl/71706/1/van%20Eeuwen_ MA_BMS.pdf Mathur Vinayak, Singh Arpit, The rapidly changing landscape of conversational agent, College of In- formation and Computer Sciences, University of Massachusetts Amherst, 2018 https://arxiv.org/pdf/1803.08419.pdf Notiziario Tecnico TIM, AI & Customer Interaction http://www.telecomitalia.com/tit/it/notiziariotecnic o/edizioni-2018/n-2-2018/capitolo-5.html Oracle, Can virtual experiences replace reality? The future role for humans in delivering customer expe- rience, 2016 www.oracle.com