<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Expression verbale des tendances à l'action en langue française</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Alya Yacoubi</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Nicolas Sabouret</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>LIMSI</string-name>
          <email>prenom.nom@limsi.fr</email>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Univ. Paris-Sud</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Université Paris-Saclay</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>DAVI les humaniseurs</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Puteaux</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Résumé</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Mots Clef</string-name>
        </contrib>
      </contrib-group>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>
        This article presents an experimental study on the verbal
expression of action tendencies. Our work concerns
dialogical interactions between a human and an
conversational agent capable of expressing emotional behavior. One
of the dimensions of these behaviors is the mechanism of
the action tendency highlighted by several researchers in
the field of cognitive psychology. We extracted 30 action
tendencies taken from the literature in psychology and we
defined context-free speech acts in French. The tendencies
expressed were evaluated with 80 participants in two
different contexts. This allowed us to validate the choice of
locutionary acts for 21 tendencies to action. We also found
strong similarities between some action tendencies in the
dialogical context. In this article, we detail our
experimental approach and the results obtained.
Actions tendencies, verbal expression, dialogue,
humanagent interaction
Les émotions sont un mécanisme déterminant dans les
interactions entre les individus [
        <xref ref-type="bibr" rid="ref11 ref14 ref6">11, 6, 14</xref>
        ], mais aussi dans le
contexte des interactions entre un utilisateur et un agent
conversationnel, comme l’ont montré plusieurs travaux
en informatique affective [
        <xref ref-type="bibr" rid="ref10 ref17">10, 17</xref>
        ]. Ainsi, certains d’entre
eux ont tenté de modéliser le mécanisme émotionnel chez
des agents conversationnels par des comportements
nonverbaux [
        <xref ref-type="bibr" rid="ref15">15</xref>
        ] ou par le choix du contenu verbal de leurs
énoncés [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ].
      </p>
      <p>
        Pour ce qui est du comportement verbal, il a été montré
dans les travaux de [
        <xref ref-type="bibr" rid="ref13">13</xref>
        ] portant sur le corpus de l’agent
conversationnel Laura (l’agent du site web d’EDF), que les
utilisateurs expriment leurs émotions à l’écrit de la même
façon face à un agent virtuel que face à un humain, avec
des choix similaires de termes et de typologie de phrase.
Malheureusement, la plupart des agents conversationnels
utilisés dans l’industrie ne sont pas conçus pour exprimer
en retour des émotions. Ainsi, lorsque l’utilisateur exprime
sa satisfaction, il est assez perturbant de n’observer aucune
réaction de la part de l’agent qui continue sa tâche comme
si de rien n’était.
      </p>
      <p>
        En effet, la plupart de ces agents conversationnels,
développés par des entreprises spécialisées pour des clients
(comme par exemple l’agent libraire [
        <xref ref-type="bibr" rid="ref23">23</xref>
        ] ou encore la
conseillère virtuelle Anna de IKEA) sont orientés vers la
réalisation d’une tâche plus que vers l’expression de
compétences sociales. L’effort est mis sur la constitution d’une
base de connaissances et de règles de dialogues bien
adaptées au domaine considéré. Cela conduit à des agents très
efficaces pour trouver une information adaptée mais assez
pauvres en terme de comportements sociaux.
      </p>
      <p>Nos travaux visent à permettre de doter de tels agents
conversationnels orienté tâche d’un mécanisme
émotionnel pour adapter leur comportement dialogique au contexte
social de l’interaction. Pour cela, nous avons construit un
modèle informatique qui définit le processus émotionnel et
son impact sur le comportement de l’agent à deux niveaux :
la poursuite de la tâche (interruption, changement de sujet,
etc) et l’expression verbale de composantes émotionnelles
qui peuvent s’insérer dans le dialogue orienté tâche. Ainsi,
notre modèle peut être branché sur un agent orienté tâche
sans modification de sa base de connaissance ni de la
stratégie commerciale qui a été implémentée à travers la base
de règles.</p>
      <p>
        Pour modéliser le processus émotionnel, nous nous
sommes basé sur la théorie des tendances à l’action
introduite par Frijda [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ] qui définit les émotions comme
étant des mécanismes heuristiques incitant ainsi l’individu
à faire une action dirigée vers une source d’émotion. La
colère par exemple est associée à la tendance à être agressif
envers l’autre [
        <xref ref-type="bibr" rid="ref21 ref8">21, 8</xref>
        ]. Il est important de noter qu’une
tendance à l’action ne s’exprime pas nécessairement, qu’elle
peut être inhibée ou redirigée. Ainsi, dans le contexte d’un
dialogue, la tendance à être agressif pourrait se traduire par
le fait d’insulter l’interlocuteur [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ], de parler plus
vulgairement [
        <xref ref-type="bibr" rid="ref19">19</xref>
        ] (tendance redirigée) ou simplement être
masquée derrière une politesse plus froide (tendance inhibée).
Dans cet article, nous nous intéressons à l’expression
verbale de tendances à l’action par l’agent conversationnel.
Nous présentons une étude qui a été faite en forme de
questionnaire en ligne dans lequel nous présentons différents
dialogues illustrant chacun une situation d’interaction et
donc une expression d’une tendance à l’action particulière.
Notre objectif est de pouvoir brancher notre modèle
affectif sur n’importe quel agent orienté tâche, indépendamment
du domaine. Nous avons donc fait le choix de phrases
génériques qui expriment une tendance à l’action
indépendamment du contexte du dialogue. Nous avons sélectionné
30 tendances à l’action présentes dans la littérature en
psychologie et nous leur avons attribué une expression verbale.
Nous avons ensuite mené cette étude expérimentale pour
valider l’expression verbale de chaque tendance à l’action
et évaluer la perception des utilisateurs des tendances à
l’action au cours d’un dialogue.
      </p>
      <p>Cet article est structuré comme suit : la deuxième section
est dédiée aux travaux théoriques sur l’expression verbale
des émotions aussi bien dans le dialogue humain-humain
que humain-agent. Ensuite nous présentons la
méthodologie de construction de corpus et sélection de tendances
à l’action. La quatrième section décrit le protocole
expérimental où nous présentons le questionnaire qui a été
construit et ses caractéristiques. À la fin nous présentons
les résultats obtenus, leurs interprétation et nous proposons
un sous-ensemble d’actes locutoires validés
expérimentalement pour exprimer des tendances à l’action dans différents
contextes.
2</p>
    </sec>
    <sec id="sec-2">
      <title>Travaux connexes</title>
      <p>
        Comme l’ont montré Ochs et Schieffelin [
        <xref ref-type="bibr" rid="ref16">16</xref>
        ], les émotions
se manifestent dans le langage par différents moyens : le
vocabulaire, la construction de la phrase, etc.. De
nombreux chercheurs en informatique et en psychologie du
langage ont ainsi tenté de caractériser les actes de
langage émotionnels. Dans le contexte de la détection
automatique des émotions, les auteurs de [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ] ont identifié, au
moyen d’un système d’apprentissage sur des dialogues
annotés, le champ lexical de 5 émotions (la colère, la peur,
la satisfaction, l’excuse, neutre). Dans un cadre plus
général, Argaman [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ] a étudié le lien entre lexique et
intensité émotionnelle. Il a proposé de mesurer les marqueurs
linguistiques utilisés par 500 sujets pour exprimer leurs
opinions à propos de films mettant en jeu des émotions
positives (joie) et négatives (tristesse) plus ou moins
intenses. Il a identifié dix caractéristiques des actes de
dialogues émotionnels. Cependant, les travaux de [
        <xref ref-type="bibr" rid="ref18">18</xref>
        ] ont
montré qu’il reste difficile, pour la majorité des personnes,
de contrôler complètement le choix des mots employés
(répétitions, expression à la première personne). Dans notre
étude, nous nous sommes basés sur quelques-unes des
caractéristiques d’Argaman pour choisir les actes locutoires :
l’emploi des « intensifieurs » (« très », « le plus », «
extrêmement ») et « d’atténuateurs » lexicaux (« assez »,
« plutôt »), l’utilisation de la première personne du
singulier (« je », « moi »), les expressions exclamatives (par
exemple « wow », « zut »).
      </p>
      <p>
        Dans le domaine des agents virtuels, de nombreux
chercheurs se sont intéressés à la modélisation de l’affect
dans une interaction humain-agent. Cependant, seulement
quelques uns ont modélisé l’expression verbale des
émotions. Nous pouvons citer comme exemple ALMA [
        <xref ref-type="bibr" rid="ref9">9</xref>
        ] où
l’expression des émotions chez l’agent se traduit par la
sélection d’un libellé et d’une phrase en langage naturel.
Dans ce travail, les énoncés des personnages virtuels sont
scriptés en fonction de l’émotion à exprimer et de la
situation de la tâche. Les énoncés des personnages dont
l’humeur est positive sont ainsi plus longs et plus positifs. Au
contraire, lorsqu’ils sont d’humeur hostile, les énoncés sont
plus courts, plus précis et plus durs. Ces principes doivent
être respectés pour la construction d’actes locutoires
affectifs. Cependant, nous souhaitons que les énoncés puissent
être indépendants de la tâche. C’est pourquoi nous n’avons
pas pu reprendre directement les actes de langages
proposés dans ALMA.
À notre connaissance, notre étude est la première à
proposer une validation systématique d’actes locutoires
expressifs indépendants du contexte applicatif et en relation avec
l’expression de tendances à l’action.
3
      </p>
    </sec>
    <sec id="sec-3">
      <title>Construction du corpus</title>
      <p>Avant de présenter le protocole expérimental lui-même,
nous détaillons la méthodologie que nous avons suivi en
amont pour choisir les tendances à l’action de la littérature
et pour construire les actes locutoires associés.
3.1</p>
      <sec id="sec-3-1">
        <title>Choix des tendances à l’action</title>
        <p>
          Une première étape de construction de notre modèle
affectif était de définir un nombre fini de tendances à
l’action possibles. La notion de tendance à l’action est
présente dans les travaux de plusieurs chercheurs en
psychologie des émotions [
          <xref ref-type="bibr" rid="ref11 ref6">6, 11</xref>
          ]. Plusieurs dizaines de tendances à
l’actions ont été étudiées dans la littérature avec des
différences subtiles en terme de comportement et de conditions
d’activation.
        </p>
        <p>
          Nous avons choisi un sous-ensemble de tendances à
l’action adaptées au modèle cognitif que nous avons conçu
[
          <xref ref-type="bibr" rid="ref25">25</xref>
          ]. Ce modèle se base sur un processus d’évaluation
cognitive qui consiste à attribuer des valeurs à des variables
d’évaluation cognitive comme la désirabilité, la
contrôlabilité, etc. Roseman [
          <xref ref-type="bibr" rid="ref21">21</xref>
          ] a présenté un travail qui lie le
processus de l’évaluation cognitive aux tendances à l’action
générées. Ce lien s’effectue à travers des stratégies
émotionnelles, notion qui a été introduite par Frijda et qui
permet de regrouper les tendances à l’action en tenant compte
de leur direction. Une stratégie émotionnelle est définie par
Roseman comme étant le but ultime d’une tendance à
l’action. Par exemple, attack other est une tendance à
l’action qui répond à la stratégie émotionnelle move against
et qui est orientée vers other (l’interlocuteur). Elle apparaît
lorsque la situation est indésirable mais contrôlable (ce qui
caractérise la stratégie émotionnelle move against) et que
la cause de l’émotion est l’interlocuteur.
        </p>
        <p>Notre choix de tendances à l’action couvre l’ensemble des
stratégies émotionnelles définies par Roseman, à
l’exception de la surprise. Pour sélectionner ces tendances à
l’action parmi celles proposées dans la littérature, nous
utilisons les critères suivants :
— La tendance à l’action doit être exprimable dans un
contexte dialogique (la tendance de violence
physique par exemple est difficilement exprimée par la
modalité verbale) ;
— La tendance à l’action doit appartenir à une
stratégie émotionnelle. Ce lien "tendance à
l’actionstratégie émotionnelle" doit être mentionné dans la
littérature en psychologie ;
— Les tendances doivent être distinctes.
3.2</p>
      </sec>
      <sec id="sec-3-2">
        <title>Choix des termes désignant les tendances à l’action</title>
        <p>Notre objectif est d’interroger des sujets sur les tendances à
l’actions qu’ils reconnaissent dans un dialogue. Pour cela,
il faut bien choisir les termes qui désignent ces tendances à
l’action dans le questionnaire (et ce, indépendamment des
actes locutoires que nous souhaitons valider).</p>
        <p>
          Les travaux en psychologie sur les stratégies émotionnelles
et les tendances ont principalement été faits en anglais. Les
termes désignant ces notions sont donc des termes anglais.
Nous avons fait un travail de traduction et d’interprétation
en langue française en essayant d’être le plus proche
possible du sens. Pour cela, nous nous sommes basés sur la
description des tendances dans les travaux de Frijda,
Roseman et des autres auteurs du domaine [
          <xref ref-type="bibr" rid="ref12 ref24">24, 12</xref>
          ]. Les
traductions en français ont été faites par des chercheurs
francophones, en collaboration avec des collègues anglophones.
Nous avons aussi dû tenir compte de la différence entre les
termes scientifiques utilisés par les chercheurs pour
désigner les tendances à l’action et notre besoin applicatif. Les
termes scientifiques, pensés dans les années 80, ne sont pas
adaptés pour un questionnaire orienté grand public des
années 2010 et pourraient entrainer des incompréhensions ou
des ambiguïtés d’interprétation chez les participants. C’est
pour cette raison que nous avons tenté de simplifier certains
termes pour que cela soit accessible à tous les participants.
Par exemple, le terme "expier" a été remplacé par "subir les
conséquences de son erreur".
3.3
        </p>
      </sec>
      <sec id="sec-3-3">
        <title>Choix des actes locutoires expressifs</title>
        <p>Le choix du contenu locutoire pour exprimer verbalement
une tendance à l’action dans un dialogue a été fait avec
des natifs pour chaque langue (le questionnaire étant
disponible en français et anglais) dans notre laboratoire. Les
chercheurs se sont projetés dans des situations
correspondant aux différentes stratégies émotionnelles considérées
et ont proposé des phrases qu’ils auraient pu dire
spontanément dans cette situation. Nous avons alors extrait les
phrases les plus générales possibles (i.e. indépendantes du
contexte) en respectant les principes linguistiques énoncés
dans la section 2.</p>
        <p>Le tableau 1 résume les tendances à l’action choisies avec
leur stratégies émotionnelles et les phrases choisies. Le
nombre de tendances à l’action est variable d’une stratégies
à l’autre : cela provient de la variété de tendances que nous
avons pu trouver dans la littérature pour couvrir les six
stratégies de Roseman et les différentes directions (ou causes)
possibles. La première colonne correspond à la stratégie
émotionnelle ; la deuxième correspond à la cause vers
laquelle serait orientée la tendance à l’action. La troisième
colonne représente les codes que nous avons choisi pour
avoir une notation uniforme tout au long de l’article. Les
deux autres colonnes sont dédiées respectivement aux
tendances à l’action et à leur acte locutoire choisi.
3.4</p>
      </sec>
      <sec id="sec-3-4">
        <title>Choix des situations</title>
        <p>Afin d’évaluer les phrases correspondant aux différentes
tendances à l’action, nous avons créé des scénarios où
nous présentons des situations qui déclenchent des
réponses émotionnelles chez un agent nommé Alex. Pour
chaque situation, nous avons défini un objectif de l’agent
(par exemple, orienter un touriste). Un énoncé d’un autre
agent, Bob, impacte directement ou indirectement cet
objectif (par exemple, Bob dit qu’il est content des
renseignements fournis par Alex).</p>
        <p>
          Les situations sont choisies de manière à couvrir les
différentes valeurs possibles pour les variables d’appraisal
proposées par Roseman [
          <xref ref-type="bibr" rid="ref22">22</xref>
          ] qui sont : la désirabilité, la
contrôlabilité, et la certitude de la situation, la nature de
l’objectif touché et la nature du problème. En particulier,
nous distinguons les cas où l’impact sur l’objectif est
direct ou indirect i.e. l’énoncé impacte un sous-objectif (par
exemple, donner une réponse utile est un sous-objectif de
« orienter un touriste »). Chaque situation se traduit ainsi
par une attribution de valeurs aux variables d’appraisal et
c’est la combinaison de ces valeurs qui détermine la
stratégie émotionnelle.
        </p>
        <p>Nous avons construit un scénario pour chaque stratégie
émotionnelle et pour chaque cause possible parmi : l’agent
(self ), son interlocuteur (other) ou des circonstances
extérieures aux deux agents (circ). Nous avons ensuite choisi
un acte locutoire indépendant du contexte pour chaque
tendance à l’action faisant partie d’une stratégie émotionnelle.
Reprenons notre exemple de conseiller touristique Alex qui
a pour objectif que le touriste soit bien renseigné. Si Bob
qui affirme qu’il s’est perdu à cause des instructions
erronées d’Alex, cela est contraire au but. Cela déclencherait
donc la stratégie émotionnelle Move Against avec la cause
self. Une des tendance à l’action déclenchées par cette
stratégie émotionnelle est de « subir les conséquences de son
erreur ». Cela peut s’exprimer, par exemple, par la phrase
« Que puis-je faire pour me faire pardonner ? ».
4</p>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Méthodologie</title>
      <p>A travers cette étude expérimentale, nous avons pour
objectif de valider notre choix d’actes locutoires exprimant des
tendances à l’action indépendamment du contexte. Pour
cela nous avons établi un protocole expérimental pour
vérifier trois hypothèses que nous présentons dans cette
section.
4.1</p>
      <sec id="sec-4-1">
        <title>Protocole expérimental</title>
        <p>Afin de valider notre choix d’actes locutoires, nous avons
construit un questionnaire dans lequel nous présentons
différents dialogues illustrant chacun une situation
d’interaction et donc une tendance à l’action particulière chez
l’agent Alex (suivant la désirabilité, la contrôlabilité, et la
certitude de la situation, en plus de la nature de l’objectif
touché et la nature du problème).</p>
        <p>Pour chaque situation, nous proposons alors 5 tendances
à l’action dont une est celle que nous pensons la plus
adéquate. Les autres tendances proposées ont été choisies
comme suit :
— les tendances appartenant à la même stratégie
émotionnelle et orientées vers une même cause
— les tendances à l’action orientée vers la même cause
que la tendance à l’action voulue mais appartenant
à une stratégie émotionnelle différente.
— les tendances à l’action appartenant à la même
stratégie émotionnelle que la tendance à l’action voulue
mais orientée vers une cause différente.</p>
        <p>Exemple : Dans la figure 1, nous présentons une
question extraite du questionnaire. Le fait que le touriste ne
s’est pas perdu dans la ville est un événement désirable
pour le guide touristique Alex. La cause de cet évènement
est "self" vu que le touriste ne s’est pas perdu grâce à ses
conseils. La tendance que nous voulions exprimer dans ce
dialogue est : S’afficher. Les seules autres tendances qui
répondent à la même stratégie émotionnelle et orientée vers
la même cause "self" sont "rechercher la reconnaissance"
et "faire savoir autour de soi". "Continuer comme ça"
répond à la même stratégie mais orientée vers la cause "circ"
et "s’approcher de l’autre" fait partie de la même stratégie
mais orientée vers "other".</p>
        <p>Variantes A et B : Pour chacune des 30 tendances à
l’action, deux situations différentes ont été construites,
illusCirc
Circ</p>
        <p>TA29 Renoncer</p>
        <p>Je ne peux rien faire de plus.</p>
        <p>TA30 Se détendre</p>
        <p>Ouf ! c’est mieux comme ça !
trées dans deux dialogues distincts et présentées à des
participants différents. Nous avons donc deux versions du
questionnaire nommées A et B, ce qui permettra d’évaluer la
sensibilité des actes locutoires au contexte applicatif. Pour
chaque participant qui commence le test, une des deux
versions du questionnaire est sélectionnée d’une manière
aléaMoving Against
Move Away from
Moving Toward
Moving it away
Stop Moving</p>
        <p>toward
Stop Moving
away from</p>
        <p>Tendance à
Cause Code l’action
Circ TA01 TRoeutitrecrasser</p>
        <p>TA02 l’obstacle
Self TA03 Se punir</p>
        <p>Attaquer
TA04 l’autre</p>
        <p>Insulter
Other TA05 l’autre</p>
        <p>Blesser
TA06 l’autre</p>
        <p>Éviter le
TA07 problème</p>
        <p>S’enfuir de
Circ TA08 la situation</p>
        <p>TA09 Se protéger
TA10 Pleurer</p>
        <p>Demander
TA11 de l’aide</p>
        <p>Corriger</p>
        <p>TA12 l’erreur
Self TA13 SMuibniirmleisser
conséquences de
TA14 son erreur</p>
        <p>S’éloigner
Other TA15 de l’autre</p>
        <p>Sauter de</p>
        <p>TA16 joie
Circ Partager sa</p>
        <p>bonne
TA17 humeur</p>
        <p>Continuer
dans le
TA18 même plan</p>
        <p>Faire savoir</p>
        <p>TA19 autour de soi
Self TA20 S’afficher</p>
        <p>Chercher la
reconnaisTA21 sance</p>
        <p>Se
rapprocher
Other TA22 de l’autre</p>
        <p>Chercher le
contact de
TA23 l’autre</p>
        <p>Rejeter la
Circ TA24 situation</p>
        <p>TA25 Se soumettre
Self</p>
        <p>TA26 Se désister
TA27 Se cacher</p>
        <p>Repousser
Other TA28 l’autre</p>
        <p>Acte locutoire
Rah ! Y’en a marre !
Qu’est-ce qu’on peut faire ?
C’est vrai je suis nul.</p>
        <p>Tout ça est à cause de vous !
Vous êtes vraiment stupide !
Vous n’êtes bon à rien !
Et si on parlait d’autre chose ?
Je ne veux pas parler de cela.</p>
        <p>Arrêtons la discussion !
Je ne suis pas ici pour
entendre ce genre de
remarques. Arrêtons là notre
discussion !
Snif !
Ce n’est pas possible. Il faut
que vous m’aidiez !
Pardon. Je vais tenter de
corriger.</p>
        <p>Ce n’est pas très grave.</p>
        <p>Qu’est-ce que je peux faire
pour me faire pardonner ?
Je ne veux plus vous parler.</p>
        <p>Youpi !
ça me fait très plaisir.</p>
        <p>Cool !
Tu as vu comme je suis bon !
Il faut que vous le disiez à
tout le monde !
je sais je suis parfait !
J’aime recevoir des
compliments.</p>
        <p>J’aimerais continuer à vous
parler.</p>
        <p>J’aimerais vous parler plus
souvent.</p>
        <p>Je n’aime pas ça !
Je suis prêt à faire ce que vous
voulez.</p>
        <p>Je préfère laisser la place à
mon collègue.</p>
        <p>J’aimerais disparaître
Agh ! Je ne veux plus discuter
avec vous !
Nous voulons vérifier que des actes locutoires choisis sont
bien perçus comme associés à la tendance à l’action qu’ils
sont censés représenter. Par exemple, nous faisons
l’hypothèse que l’acte locutoire "Y’en a marre !" sera bien perçu
comme exprimant la tendance à l’action "Détruire" qui
appartient à la stratégie émotionnelle "Move Against" face à
une cause extérieure (circ).</p>
        <p>Cependant, l’étude de la littérature a révélé qu’il n’y a pas
de consensus quant au nombre exact des tendances à
l’action. L’émotion "colère" par exemple peut conduire à une
tendance à attaquer l’autre, critiquer sa conduite ou
l’insulter. Nous formulons donc l’hypothèse que certains actes
locutoires seront perçus comme relevant de deux tendances
à l’action distinctes, que nous pourrions alors envisager de
regrouper.</p>
        <p>Enfin, nous voulons nous assurer que la perception des
tendances à l’action est indépendante du contexte du dialogue.
Ces différents objectifs nous ont amenés à formuler les
deux groupes d’hypothèses suivantes :
H1a : Nous faisons l’hypothèse initiale que, pour chaque
acte locutoire ali, la tendance à l’action associée tai est
significativement mieux reconnue que les 4 autres tendances
à l’action proposées.</p>
        <p>Reprenons l’exemple sur la figure 1. Le score donné par les
participants à la tendance "s’afficher" devrait être
significativement plus élevé que celui attribué à "chercher la
reconnaissance", "faire savoir autour de soi", "continuer comme
ça" ou "s’approcher de l’autre".</p>
        <p>Pour vérifier cette hypothèse, nous calculons la p-value
suivant un test de Wilcoxon 1 entre tai et chacune des autres
tendances à l’action proposées. Cette mesure se fait sans
prendre en compte les éventuelles différences de contexte.
L’hypothèse H1a est considérée comme valide pour l’acte
locutoire si et seulement si le score de p-value est inférieur
à 0,05 pour chacune des 4 comparaisons.</p>
        <p>H1b : Lorsque H1a n’est pas vérifiée, c’est-à-dire lorsque
la tendance à l’action proposée n’a pas été
significativement mieux reconnue, nous faisons l’hypothèse qu’une
autre tendance à l’action "proche" est peut-être associée à
cet acte locutoire.</p>
        <p>Nous regardons s’il existe une tendance à l’action taj
parmi les 4 autres tendances à l’action proposées qui est
significativement mieux reconnue par les participants. Cette
mesure se fait sans prendre en compte les éventuelles
différences de contexte et l’hypothèse H1b est valide si le score
de p-value entre taj et chacune des 4 autres tendances à
l’action proposées est inférieur à 0,05.</p>
        <p>H1c : Lorsque ni H1a, ni H1b ne sont vérifiées, nous
faisons l’hypothèse que plusieurs tendances à l’action
différentes peuvent être représentées par ce même acte
locutoire.</p>
        <p>
          Nous cherchons s’il existe une tendance à l’action taj
parmi celles proposées telle que, lorsque nous fusionnons
les scores obtenues pour taj et tai, nous obtenons un score
1. Nous avons effectué un test non-paramétrique vu que la distribution
des données ne suit aucune loi. Nous avons également eu besoin d’un test
sur des échantillons appariés vu que nous allons comparer les réponses
d’un même groupe de participants. Le test de Wicoxon signé (Wilcoxon
signed rank test)[
          <xref ref-type="bibr" rid="ref20">20</xref>
          ] permet de prendre en compte le niveau de différence
à l’intérieur des paires. Nous avons opté pour ce test appliqué pour chaque
scénario, entre la réponse qui a eu le score plus élevé et toutes les autres
tendances proposées dans le même scénario.
significativement plus élevé que pour les trois autres
tendances à l’action proposées (au sens de la p-value).
H2a : Lorsque H1a ou H1b est vérifiée, c’est-à-dire
lorsqu’il existe bien une tendance à l’action qui est mieux
reconnue que les autres, nous formulons l’hypothèse que
cette propriété est valide indépendamment du contexte.
L’hypothèse H2a est considérée comme valide si et
seulement si H1a (resp. H1b) peut être vérifiée séparément
dans les deux sous-groupes associés aux contexte A et au
contexte B.
        </p>
        <p>
          H2b : Lorsque H1a ou H1b est vérifiée, nous formulons
aussi l’hypothèse que le score attribué à la tendance à
l’action est indépendant du contexte. Pour cela, nous calculons
la valeur de corrélation inter-groupe entre le contexte A et
le contexte B en utilisant un test de de Cohen [
          <xref ref-type="bibr" rid="ref4">4</xref>
          ].
L’hypothèse est considérée comme valide si et seulement si
l’accord inter-annotateur obtenu par le score de est supérieur
à 0,4.
4.3
        </p>
      </sec>
      <sec id="sec-4-2">
        <title>Procédure expérimentale</title>
        <p>Nous avons réalisé une étude inter-sujets avec 80
participants francophones (moyenne d’âge = 42 ans, 52 femmes,
28 hommes). Chaque participant a répondu à 30 questions
correspondant aux 30 tendances à l’action dans un ordre
aléatoire. Nous avons eu 29 participants pour la version A
du contexte et 51 pour la version B (le choix était aléatoire
et nous n’avons gardé que les participants ayant répondu
à l’ensemble du questionnaire). Les participants ont eu
accès à l’expérimentation à travers un lien qui été partagé et
relayé sur les réseaux sociaux et les listes de participants
RISC ainsi que le personnel du laboratoire et de
l’entreprise. La seule condition requise pour les participants est la
maitrise de la langue française. En effet, comme les actes
de langage expriment une réaction impulsive et non
réfléchie, il est difficile de comprendre les subtilités de la langue
pour des personnes non-francophones.</p>
        <p>Le questionnaire est anonyme et les participants n’ont pas
été rémunérés. Le questionnaire commence par deux
questions exemples qui n’ont pas été considérées (il s’agit juste
de familiariser l’utilisateur avec l’interface Limesurvey et
avec les situations de dialogue présentées par la suite). Les
30 situations présentées à chaque participant sont choisies
de manière aléatoire et changent d’un participant à l’autre,
ainsi que l’ordre des tendances à l’action proposées, pour
réduire les biais éventuels.
5</p>
      </sec>
    </sec>
    <sec id="sec-5">
      <title>Analyse des résultats</title>
      <p>Les résultats obtenus pour les différentes hypothèses sont
résumés dans le tableau 2. Ce tableau se lit de la
manière suivante : la première colonne indique le nom de
la tendance à l’action que nous souhaitions exprimer par
l’acte locutoire présenté aux participants (cf. table 1). La
deuxième colonne indique si l’hypothèse H1a a été
vérifiée, c’est-à-dire si la tendance à l’action a été reconnue de
manière significative.</p>
      <p>H1a
Non
Oui
Oui
Non
Oui
Non
Non
Non
Non
Non
Oui
Oui
Oui
Non
Non
Non
Oui
Non
Non
Oui
Oui
Non
Non
Oui
Oui
Non
Oui
Non
Non
Oui</p>
      <p>H1b H1c
Non
-
-
Non TA06
-
Non TA05
Non TA08
Non TA07
TA08
Non TA07
-
-
-
TA13
Non
TA17
-
TA17
TA21
-
-
TA23
Non TA22
-
-
Non
-
Non
Non
-
TABLE 2 – La vérification des hypothèses pour toutes les
tendances à l’action
Si la réponse est "Non", la colonne suivante indique si
l’hypothèse H1b a été vérifiée, c’est-à-dire si une autre
tendance à l’action proposée aux participants a été mieux
reconnue, de manière significative. Dans les deux cas, les
colonnes H2a et H2b indiquent l’impact du contexte sur les
résulats. La colonne H2a indique si la tendance a été
significativement reconnue dans les deux groupes de
participants. La colonne H2b indique si les réponses des
participants pour les cinq tendances proposées sont similaires
(Kappa de Cohen).</p>
      <p>Enfin, la colonne H1c indique, lorsque ni H1a ni H1b ne
sont vérifiées, s’il est possible de confondre la tendance
à l’action souhaitée avec une autre tendance à l’action,
dans l’optique de les fusionner. Dans ce cas, la colonne
H2a indique si le score obtenu en regroupant ces deux
tendances est significativement reconnue dans chacun des
deux groupes de participants (test de Wicoxon) et la
colonne H2b si les réponses obtenues sont similaires (Kappa).
Étude des hypothèses
Les actes locutoires associés aux tendances à l’action
TA03, TA05, TA11, TA12, TA13, TA17, TA21,TA24,
TA25, TA27 et TA30 vérifient l’hypothèse H1a et
l’hypothèse H2. Ils sont significativement bien associés à la
tendance à l’action souhaitée, et ce indépendamment du
contexte (11 actes sur 30). Il faut y ajouter les actes
locutoires TA02 et TA20 qui sont bien reconnus mais pour
lesquels l’accord inter-annotateur suggère une influence du
contexte.</p>
      <p>Pour les tendances à l’action TA16 et TA22, l’acte locutoire
proposé est associé à une autre tendance à l’action que celle
souhaitée, et ce de manière significative et indépendante du
contexte. Cela suggère que les actes locutoires peuvent être
utilisés comme formulation alternative pour exprimer ces
tendances à l’action (respectivement TA17 et TA23).
Il est intéressant de noter que, de manière symétrique,
l’acte locutoire choisi pour TA23 vérifie l’hypothèse H1c
avec la proposition TA22. Or ces deux tendances à
l’action correspondent à la même stratégie émotionnelle et à la
même direction. Ce résultat suggère qu’il est possible de
fusionner ces deux tendances à l’action et d’utiliser
indifféremment l’un des deux actes locutoires proposés.
L’acte locutoire associé à TA18 est lui aussi associé à
TA17, tout comme TA16, même si le résultat n’est pas
valable dans tous les contextes. Cela suggère, puisqu’il s’agit
de la même stratégie émotionnelle et de la même direction
pour ces trois tendances à l’actions, qu’il est préférable de
se limiter à la tendance à l’action TA17.</p>
      <p>De même, l’acte locutoire TA19 est associé à TA21 qui est
dans le même groupe, et TA09 est associé à TA08, ce qui
milite en faveur de leur regroupement dans la formulation
la mieux reconnue. Cependant, dans le cas de TA08, le
tableau montre une confusion avec TA07 qui suggère un
regroupement avec deux formulations possibles. De plus, le
locutoire TA10 semble se confondre avec TA07 et pourrait
être accepté comme formulation alternative.</p>
      <p>L’acte locutoire associé à la tendances à l’action TA04
semble se confondre avec TA06, laquelle est aussi
confondue avec TA05. Cela suggère un regroupement autour de
TA05, peut-être en utilisant TA06 comme formulation
alternative, voire de TA04. Une étude statistique plus
poussée permettrait de déterminer si le regroupe de ces trois
tendances à l’action conduit à un score significatif.
L’acte locutoire associé à la tendance à l’action TA14
semble exprimer la tendance TA13. Comme ces deux
tendances font partie de la même stratégie émotionnelle et
dirigée vers la même source, il est possible de les regrouper
autour de la tendance TA13.</p>
      <p>Les actes locutoires associés aux tendances TA01, TA15,
TA26, TA28 et TA29 sont plus problématiques : ils n’ont
pas été reconnus par les participants et il est impossible de
les regrouper avec d’autres tendances choisies par les
participants. Nous pensons donc que le choix d’acte locutoire
n’est pas satisfaisant pour ces tendances à l’action et qu’il
faut proposer d’autres formulations.</p>
      <p>C’est particulièrement important pour la tendance TA15
qui est la seule à exprimer la stratégie émotionnelle "Move
Away From" dirigée vers autrui, pour la tendance TA28
(stratégie émotionnelle "Moving it Away From" dirigée
vers l’interlocuteur) et pour la tendance TA29 (stratégie
"Stop Moving Toward").</p>
      <p>Les tendances à l’action retenues et les actes locutoires que
nous considérons comme validés sont listés dans le tableau
3.
TA07 (Éviter le
problème)
TA11
(Demander de
l’aide)
TA12 (Corriger
l’erreur)
TA13
(Minimiser)
TA17 (Partager
sa bonne
humeur)
TA20
(S’afficher)
TA21 (Chercher
la
reconnaissance)
TA23 (Chercher
le contact de
l’autre)
TA24 (Rejeter la
situation)
TA25 (Se
soumettre)
TA27 (Se
cacher)
TA30 (Se
détendre)</p>
      <p>Formulations possibles
Qu’est-ce qu’on peut faire ?
C’est vrai je suis nul !
"Vous êtes vraiment stupide !" ou "Vous n’êtes bon
à rien !" ou "Tout ça est à cause de vous !"
"Et si on parlait d’autre chose ?" ou "Je ne veux
pas parler de cela. Arrêtons là la discussion" ou
"Snif !"
Ce n’est pas possible. Il faut que vous m’aidiez !
"Pardon je vais tenter de corriger."
"Ce n’est pas très grave." ou "Qu’est-ce que je
peux faire pour me faire pardonner ?"
"ça me fait très plaisir !" ou "Youpi" ou "Cool !"
Je sais je suis parfait !
"J’aime recevoir des compliments" ou "Tu as vu
comme je suis bon ! Il faut que vous le disiez à
tout le monde !"
"Jaimerais vous parler plus souvent." ou
"J’aimerais continuer à vous parler."
Je n’aime pas ça !
Je suis prêt à faire ce qe vous voulez.</p>
      <p>J’aimerais disparaître.</p>
      <p>Ouf ! C’est mieux comme ça !
TABLE 3 – Actes locutoires retenus après expérimentation.
6</p>
    </sec>
    <sec id="sec-6">
      <title>Conclusion et perspectives</title>
      <p>Nous avons mené une étude expérimentale sur un ensemble
de situations dialogiques où des tendances à l’action ont
été déclenchées et exprimées verbalement et textuellement
(sans prosodie). Nous nous sommes basés sur des travaux
antérieurs en linguistique et psychologie du langage pour
choisir les actes locutoires correspondant aux 30 tendances
à l’action sélectionnées dans la littérature. Notre objectif à
travers cette étude était de valider notre choix d’actes
locutoires pour chaque tendance à l’action et de bien s’assurer
que ces derniers sont indépendants de la situation. Nous
avons également fait l’hypothèse que, dans un contexte
purement dialogique, certaines tendances à l’action vont être
perçues d’une façon similaire.</p>
      <p>Les résultats obtenus sont globalement encourageants.
Nous avons retenus 16 tendances à l’action parmi les 30.
Cette étude nous a permis de conclure que certaines
tendances à l’action peuvent être regroupées. Ce qui fait que
certaines peuvent s’exprimer par plusieurs actes locutoires.
Nous avons 6 tendances à l’action qui n’ont pas été perçues
par les participants et dont les résultats ne nous permettent
pas de conclure quant à nos hypothèses. Nous envisageons
de faire une deuxième étude expérimentale en modifiant
notre choix d’actes locutoires pour étudier ces 6 cas.
Nous sommes conscients que la limitation d’un seul acte
locutoire par tendance à l’action entraîne un risque de
répétition dans les dialogues. Nous envisageons d’élargir cette
expérimentation avec d’autres actes locutoires pour
diversifier le choix de l’acte à mettre dans un dialogue. Aussi,
nous estimons que l’indépendance au contexte pourrait être
mieux validée par la présentation d’autres variantes avec
différentes situations possibles.</p>
      <p>Ce travail a été fait dans le cadre d’une évaluation d’un
modèle affectif chez un agent conversationnel. Il pourrait
être utilisé dans des situations similaires où des tendances
à l’action sont exprimées verbalement.
7</p>
    </sec>
    <sec id="sec-7">
      <title>Remerciements</title>
      <p>Nos remerciements à Rachel Bawden pour son aide
précieuse lors de la traduction des termes de tendances à
l’action de l’anglais au français.</p>
      <p>Références</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          [1]
          <string-name>
            <given-names>Osnat</given-names>
            <surname>Argaman</surname>
          </string-name>
          .
          <article-title>Linguistic markers and emotional intensity</article-title>
          .
          <source>Journal of psycholinguistic research</source>
          ,
          <volume>39</volume>
          (
          <issue>2</issue>
          ) :
          <fpage>89</fpage>
          -
          <lpage>99</lpage>
          ,
          <year>2010</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          [2]
          <string-name>
            <given-names>Evelien</given-names>
            <surname>Bossuyt</surname>
          </string-name>
          .
          <article-title>Experimental studies on the influence of appraisal on emotional action tendencies and associated feelings</article-title>
          .
          <source>PhD thesis</source>
          , Ghent University,
          <year>2012</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          [3]
          <string-name>
            <given-names>Sabrina</given-names>
            <surname>Campano</surname>
          </string-name>
          and
          <string-name>
            <given-names>Nicolas</given-names>
            <surname>Sabouret</surname>
          </string-name>
          .
          <article-title>A socioemotional model of impoliteness for non-player characters</article-title>
          .
          <source>In Affective Computing and Intelligent Interaction and Workshops</source>
          ,
          <year>2009</year>
          .
          <source>ACII</source>
          <year>2009</year>
          . 3rd International Conference on, pages
          <fpage>1</fpage>
          -
          <lpage>7</lpage>
          . IEEE,
          <year>2009</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          [4]
          <string-name>
            <given-names>Jacob</given-names>
            <surname>Cohen</surname>
          </string-name>
          .
          <article-title>Weighted kappa : Nominal scale agreement provision for scaled disagreement or partial credit</article-title>
          .
          <source>Psychological bulletin</source>
          ,
          <volume>70</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>213</fpage>
          ,
          <year>1968</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          [5]
          <string-name>
            <given-names>Laurence</given-names>
            <surname>Devillers</surname>
          </string-name>
          , Sophie Rosset, Hélene BonneauMaynard, and Lori Lamel.
          <article-title>Annotations for dynamic diagnosis of the dialog state</article-title>
          .
          <source>In In Proc. LREC</source>
          ,
          <year>2002</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          [6]
          <string-name>
            <surname>Nico</surname>
            <given-names>H</given-names>
          </string-name>
          <string-name>
            <surname>Frijda</surname>
          </string-name>
          .
          <article-title>The emotions : Studies in emotion and social interaction</article-title>
          . Paris : Maison de Sciences de l'Homme,
          <year>1986</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          [7]
          <string-name>
            <surname>Nico</surname>
            <given-names>H</given-names>
          </string-name>
          <string-name>
            <surname>Frijda</surname>
          </string-name>
          .
          <article-title>The laws of emotion</article-title>
          . American psychologist,
          <volume>43</volume>
          (
          <issue>5</issue>
          ) :
          <fpage>349</fpage>
          ,
          <year>1988</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          [8]
          <string-name>
            <surname>Nico</surname>
            <given-names>H Frijda</given-names>
          </string-name>
          ,
          <string-name>
            <given-names>Peter</given-names>
            <surname>Kuipers</surname>
          </string-name>
          , and Elisabeth Ter Schure.
          <article-title>Relations among emotion, appraisal, and emotional action readiness</article-title>
          .
          <source>Journal of personality and social psychology</source>
          ,
          <volume>57</volume>
          (
          <issue>2</issue>
          ) :
          <fpage>212</fpage>
          ,
          <year>1989</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          [9]
          <string-name>
            <given-names>Patrick</given-names>
            <surname>Gebhard</surname>
          </string-name>
          .
          <article-title>Alma : a layered model of affect</article-title>
          .
          <source>In Proceedings of the fourth international joint conference on Autonomous agents and multiagent systems</source>
          , pages
          <fpage>29</fpage>
          -
          <lpage>36</lpage>
          . ACM,
          <year>2005</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          [10]
          <string-name>
            <given-names>Jonathan</given-names>
            <surname>Gratch</surname>
          </string-name>
          and
          <string-name>
            <given-names>Stacy</given-names>
            <surname>Marsella</surname>
          </string-name>
          .
          <article-title>A domainindependent framework for modeling emotion</article-title>
          .
          <source>Cognitive Systems Research</source>
          ,
          <volume>5</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>269</fpage>
          -
          <lpage>306</lpage>
          ,
          <year>2004</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          [11]
          <string-name>
            <surname>Richard</surname>
            <given-names>S Lazarus.</given-names>
          </string-name>
          <article-title>Cognition and motivation in emotion</article-title>
          .
          <source>American psychologist</source>
          ,
          <volume>46</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>352</fpage>
          ,
          <year>1991</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          [12]
          <string-name>
            <surname>Robert</surname>
            <given-names>W</given-names>
          </string-name>
          <string-name>
            <surname>Levenson</surname>
          </string-name>
          .
          <article-title>Basic emotion questions</article-title>
          .
          <source>Emotion review</source>
          ,
          <volume>3</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>379</fpage>
          -
          <lpage>386</lpage>
          ,
          <year>2011</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          [13]
          <string-name>
            <given-names>Irina</given-names>
            <surname>Maslowski</surname>
          </string-name>
          .
          <article-title>Quelles sont les caractéristiques des interactions problématiques entre des utilisateurs et un conseiller virtuel ? In JEP-TALN-RECITAL 2016</article-title>
          , volume
          <volume>3</volume>
          , pages
          <fpage>94</fpage>
          -
          <lpage>107</lpage>
          ,
          <year>2016</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          [14]
          <string-name>
            <given-names>Albert</given-names>
            <surname>Mehrabian</surname>
          </string-name>
          .
          <article-title>Pleasure-arousal-dominance : A general framework for describing and measuring individual differences in temperament</article-title>
          .
          <source>Current Psychology</source>
          ,
          <volume>14</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>261</fpage>
          -
          <lpage>292</lpage>
          ,
          <year>1996</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          [15]
          <string-name>
            <surname>Radoslaw</surname>
            <given-names>Niewiadomski</given-names>
          </string-name>
          , Elisabetta Bevacqua, Maurizio Mancini, and
          <string-name>
            <given-names>Catherine</given-names>
            <surname>Pelachaud</surname>
          </string-name>
          .
          <article-title>Greta : an interactive expressive eca system</article-title>
          .
          <source>In Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems-Volume</source>
          <volume>2</volume>
          , pages
          <fpage>1399</fpage>
          -
          <lpage>1400</lpage>
          . International Foundation for Autonomous Agents and
          <string-name>
            <given-names>Multiagent</given-names>
            <surname>Systems</surname>
          </string-name>
          ,
          <year>2009</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          [16]
          <string-name>
            <given-names>Elinor</given-names>
            <surname>Ochs</surname>
          </string-name>
          and
          <string-name>
            <given-names>Bambi</given-names>
            <surname>Schieffelin</surname>
          </string-name>
          .
          <article-title>Language has a heart</article-title>
          .
          <source>Text-Interdisciplinary Journal for the Study of Discourse</source>
          ,
          <volume>9</volume>
          (
          <issue>1</issue>
          ) :
          <fpage>7</fpage>
          -
          <lpage>26</lpage>
          ,
          <year>1989</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          [17]
          <string-name>
            <surname>Magalie</surname>
            <given-names>Ochs</given-names>
          </string-name>
          , Nicolas Sabouret, and
          <string-name>
            <given-names>Vincent</given-names>
            <surname>Corruble</surname>
          </string-name>
          .
          <article-title>Simulation of the dynamics of nonplayer characters' emotions and social relations in games</article-title>
          .
          <source>IEEE Transactions on Computational Intelligence and AI</source>
          in Games,
          <volume>1</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>281</fpage>
          ,
          <year>2009</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          [18]
          <string-name>
            <given-names>Sally</given-names>
            <surname>Planalp</surname>
          </string-name>
          .
          <article-title>Communicating emotion : Social, moral, and cultural processes</article-title>
          . Cambridge University Press,
          <year>1999</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          [19]
          <string-name>
            <given-names>Kaska</given-names>
            <surname>Porayska-Pomsta</surname>
          </string-name>
          and
          <string-name>
            <given-names>Helen</given-names>
            <surname>Pain</surname>
          </string-name>
          .
          <article-title>Providing cognitive and affective scaffolding through teaching strategies : applying linguistic politeness to the educational context</article-title>
          .
          <source>In International Conference on Intelligent Tutoring Systems</source>
          , pages
          <fpage>77</fpage>
          -
          <lpage>86</lpage>
          . Springer,
          <year>2004</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          [20]
          <string-name>
            <surname>Ronald</surname>
            <given-names>H</given-names>
          </string-name>
          <string-name>
            <surname>Randles</surname>
          </string-name>
          .
          <article-title>Wilcoxon signed rank test</article-title>
          .
          <source>Encyclopedia of statistical sciences</source>
          ,
          <year>1988</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          [21]
          <string-name>
            <surname>Ira</surname>
            <given-names>J</given-names>
          </string-name>
          <string-name>
            <surname>Roseman</surname>
          </string-name>
          .
          <article-title>Emotional behaviors, emotivational goals, emotion strategies : Multiple levels of organization integrate variable and consistent responses</article-title>
          .
          <source>Emotion Review</source>
          ,
          <volume>3</volume>
          (
          <issue>4</issue>
          ) :
          <fpage>434</fpage>
          -
          <lpage>443</lpage>
          ,
          <year>2011</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          [22]
          <string-name>
            <surname>Ira</surname>
            <given-names>J Roseman.</given-names>
          </string-name>
          <article-title>Appraisal in the emotion system : Coherence in strategies for coping</article-title>
          .
          <source>Emotion Review</source>
          ,
          <volume>5</volume>
          (
          <issue>2</issue>
          ) :
          <fpage>141</fpage>
          -
          <lpage>149</lpage>
          ,
          <year>2013</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref23">
        <mixed-citation>
          [23]
          <string-name>
            <surname>Giovanni</surname>
            <given-names>Semeraro</given-names>
          </string-name>
          , Hans HK Andersen, Verner Andersen, Pasquale Lops, and
          <string-name>
            <given-names>Fabio</given-names>
            <surname>Abbattista</surname>
          </string-name>
          .
          <article-title>Evaluation and validation of a conversational agent embodied in a bookstore</article-title>
          .
          <source>In ERCIM Workshop on User Interfaces for All</source>
          , pages
          <fpage>360</fpage>
          -
          <lpage>371</lpage>
          . Springer,
          <year>2002</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref24">
        <mixed-citation>
          [24]
          <string-name>
            <surname>Robert</surname>
            <given-names>C Solomon.</given-names>
          </string-name>
          <article-title>The logic of emotion</article-title>
          .
          <source>Nous</source>
          , pages
          <fpage>41</fpage>
          -
          <lpage>49</lpage>
          ,
          <year>1977</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref25">
        <mixed-citation>
          [25]
          <string-name>
            <given-names>Alya</given-names>
            <surname>Yacoubi</surname>
          </string-name>
          and
          <string-name>
            <given-names>Nicolas</given-names>
            <surname>Sabouret</surname>
          </string-name>
          .
          <article-title>TEATIME : a Formal Model of Action Tendencies in Conversational Agents</article-title>
          .
          <source>In In Proc. 10th International Conference on Agents and ARTificial intelligence (ICAART)</source>
          ,
          <year>2018</year>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>