In this article we propose a method performing automatic extraction and analysis of arguments from raw texts, without using handcrafted features. We introduce a multi-task deep learning model stacking several layers of recurrent neural networks. Specifically, we make use of weight parameters trained on simple tasks, such as Part-Of-Speech tagging and chunking, in order to obtain a model able to handle more complex tasks that require a detailed understanding of the text. De manière plus spécifique, Stab et Gurevych [2] ont proposé le corpus Argument Annotated Essays (version 2), contenant 402 dissertations extraites de essayforum.com. La structure argumentative de chaque dissertation a été manuellement annotée suivant un modèle de graphe orienté acyclique connexe, dans lequel les noeuds représentent des composants argumentatifs et les arcs des liens entre ces derniers. Le schéma d’annotation utilisé permet de distinguer trois types de composants argumentatifs : (i) les conclusions majeures, reflétant le point de vue global de l’auteur sur le sujet disserté, (ii) les conclusions intermédiaires, représentant des affirmations qui ne pourraient être acceptées sans justifications complémentaires, et (iii) les prémisses, servant de justifications aux conclusions intermédiaires avancées. Les arcs du graphe sont porteurs d’une étiquette "support" ou "attaque" selon que le composant argumentatif source corrobore ou réfute la cible. Les arcs ne peuvent exister que a) d’une prémisse vers une autre prémisse, b) d’une prémisse vers une conclusion (majeure ou intermédiaire), et c) d’une conclusion intermédiaire vers une autre conclusion (majeure ou intermédiaire). Afin d’obtenir automatiquement un graphe synthétisant la structure argumentative d’une dissertation, Stab et Gurevych [2] ont proposé une chaîne de traitement constituée de quatre étapes : (1) Délimitation des frontières des composants argumentatifs, (2) Détermination du type de chaque composant argumentatif, (3) Détermination de l’existence d’un arc entre chaque paire ordonnée de composants argumentatifs, et (4) Etiquetage des arcs existants comme relation de support ou d’attaque. Dans cet article, nous nous concentrons sur l’étude des tâches (1) et (2), en cherchant à nous affranchir de l’utilisation de caractéristiques définies manuellement par des experts. La section 2 présente un panorama des travaux antérieurs réalisés sur des tâches similaires à (1) et (2). La section 3 décrit le modèle que nous avons mis en place pour traiter les deux tâches évoquées ci-dessus. La section 4 présente les modalités d’entraînement du modèle. La section 5 est consacrée aux expérimentations que nous avons menées et aux résultats obtenus. La section 6 propose des directions et perspectives pour nos futures recherches. 2
La détection de composants argumentatifs consiste à déterminer les frontières séparant les unités textuelles porteuses d’arguments du reste du texte. Cette tâche est généralement considérée comme un problème de segmentation de texte supervisée au niveau du mot. Les modèles exploitant l’aspect séquentiel des mots, inhérent à la construction d’une argumentation convaincante, sont particulièrement adaptés et utilisés : Madnani et al (2012) utilisent un Conditional Random Field (CRF) afin d’identifier des segments non argumentatifs au sein de dissertations [3], Levy et al (2014) identifient les frontières d’unités textuelles représentant des conclusions supportant ou attaquant le sujet débattu dans des fils de discussions issus de Wikipedia [4], Ajjour et al (2017) utilisent des réseaux de neurones récurrents de type Long Short-Term Memory (LSTM) afin d’extraire des arguments issus de dissertations, d’éditoriaux et de commentaires générés par des internautes [5], Goudas et al (2014) identifient des phrases contenant des arguments avant de déterminer précisément leurs frontières au sein de médias sociaux à l’aide d’un CRF [6], Sardianos et al (2015) déterminent les limites de composants argumentatifs au sein d’articles de presse à l’aide d’un CRF [7], Stab et Gurevych (2017) utilisent un CRF afin d’isoler les composants argumentatifs au sein de dissertations [2], Eger et al (2017) ont recouru à des techniques d’apprentissage profond [8].
La tâche consistant à déterminer le type d’un
composant argumentatif (prémisse, conclusion, etc.) a souvent été
traité comme un problème de classification de texte
supervisée. Eckle-Kohler et al (2015) distinguent des prémisses
et des conclusions au sein d’articles de presse à l’aide de
Naive Bayes, Random Forest et Support Vector Machine
(SVM) [9], Park et Cardie (2014) utilisent un SVM pour
déterminer à quel point des affirmations sont justifiées au
sein de commentaires d’internautes relatifs à de nouveaux
projets de législation [10], Stab et Gurevych (2017)
classifient des composants argumentatifs en prémisses,
conclusions intermédiaires et conclusions majeures dans
des dissertations en utilisant un SVM [2], Persing et Ng
(2016) utilisent un classifieur d’entropie maximale afin
de déterminer le type de composants argumentatifs [11],
Potash et al (2016) utilisent des réseaux de neurones
récurrents dits "séquence à séquence" dans l’objectif
d’inférer le type de composants argumentatifs [
Nous proposons un modèle ayant pour objectif 1) de
déterminer les frontières de composants argumentatifs
présents dans un ensemble de dissertations et 2) de
déterminer le type de chaque composant argumentatif dans
lesdites dissertations. Nous nous inspirons du travail de
Hashimoto et al [
Nous utilisons une première couche de plongement
sémantique assignant une représentation vectorielle et à chaque
mot wt donné en entrée du système. Nous utilisons Glove
[
La seconde couche du modèle correspond à une tâche
d’étiquetage morpho-syntaxique (EMS), consistant à
assigner pour chaque mot wt en entrée du système une
étiquette morpho-syntaxique (e.g, nom commun, verbe,
déterminant, etc.). Nous utilisons un Gated Recurrent Unit
(GRU) [
GRU est un réseau de neurones récurrent utilisant un mécanisme de déclenchement sans utilisation de cellule mémoire séparée. A l’instant t, GRU calcule l’état caché ht de la manière suivante : ht = (1
zt)nt + zth(t 1) avec
nt = tanh(Wnxt + bn + rt(Whnh(t 1) + bhn)) 1. Le modèle pré-entraîné https ://nlp.stanford.edu/projects/glove/ est issu de rt = (Wrxt + br + Whrh(t 1) + bhr) zt = (Wzxt + bz + Whzh(t 1) + bhz) où xt représente l’entrée à l’instant t, rt, zt et nt sont respectivement les portes de réinitialisation, d’entrée et de nouveauté, représente la fonction sigmoïde, et W et b sont des matrices et vecteurs de paramètres.
En vue d’exploiter le contexte "passé" et "futur" d’un élément d’une séquence de N éléments [x1; x1; :::; xN ], nous pouvons construire un encodage bi-directionnel par concaténation des états cachés obtenus par un encodage séquentiel "à l’endroit" (e.g, à l’instant t = 1, l’entrée est x1, à l’instant t = 2, l’entrée est x2, etc.) et un encodage "à l’envers" (e.g, à l’instant t = 1, l’entrée est xN , à l’instant t = 2, l’entrée est xN 1, etc.) : !ht = GR!U (xt); t 2 [1; N ] ht = GRU (xt); t 2 [N; 1] ht = [!ht ; ht ] ! h(1) = GR!U (et)
t h(1) = GRU (et) t
! h(1) = [ht(1); ht(1)]
t Nous utilisons les représentations vectorielles des mots constituant l’exemple en cours comme entrée de la couche EMS : Ensuite pour chaque instant t, nous calculons la probabilité d’assigner l’étiquette k au mot wt de la manière suivante : p(yt(1) = kjht(1)) =
exp(Wsm(1) f ct(1) + bsm(1) )
Pc1 exp(Wsm(1) f ct(1) + bsm(1) )
f ct(1) = relu(Wfc(1) ht(1) + bfc(1) )
Avec W et b matrices et vecteurs de paramètres, relu la
fonction Unité de Rectification Linéaire [
Le chunking consiste à assigner une étiquette chunk (chunk nom, chunk verbe, etc.) à chaque mot. Nous calculons les états cachés relatifs au chunking en exploitant ce que le modèle a appris pour la tâche EMS : (1) (2) ! h(2) = GR!U ([et; ht(1); yt(EMS)])
t h(2) = GRU ([et; ht(1); yt(EMS)]) t
! h(2) = [ht(2); ht(2)]
t
Avec ht(1) l’état caché obtenu à l’instant t pour la tâche
EMS et yt(EMS) la représentation vectorielle pondérée de
l’étiquette EMS. En suivant Hashimoto et al. [
X j=1 y(EMS) = t p(yt(1) = jjht(1))l(j) (3) où l(j) est une représentation vectorielle de la j-ème étiquette EMS. Les représentations vectorielles des étiquettes sont pré-entraînées avec GloVe.
La probabilité d’assigner une étiquette chunk à un mot est ensuite calculée de manière similaire à celle pour les étiquettes EMS (équations (1) et (2)), mais avec un ensemble de paramètres propres à la couche chunking. 3.4
L’objectif de cette tâche est de déterminer, au mot près,
les frontières de chaque composant argumentatif au sein
d’une dissertation. Nous suivons Stab et Gurevych [2]
et traitons cette tâche comme un problème de
segmentation de texte supervisée dont les étiquettes suivent un
IOB-tagset [
Chaque dissertation est traitée comme une unique séquence de mots que nous encodons de la manière suivante :
! h(3) = GR!U ([et; ht(1); yt(EMS); ht(2); yt(chunk)]) t h(3) = GRU ([et; ht(1); yt(EMS); ht(2); yt(chunk)]) t
! h(3) = [ht(3); ht(3)]
t où yt(chunk) est la représentation vectorielle pondérée de l’étiquette chunk, calculée de manière similaire à celle de l’étiquette EMS (équation (3)).
La probabilité d’assigner une étiquette à un mot est ensuite calculée de manière similaire à celle pour les étiquettes EMS, mais avec un ensemble de paramètres propres à la couche DelCA. 3.5
L’objectif de cette tâche est de déterminer le type de chaque composant argumentatif parmi prémisse, conclusion intermédiaire et conclusion majeure. Nous traitons cette tâche comme un problème d’étiquetage de segment. Nous considérons qu’un segment peut être la séquence des mots appartenant à un même composant argumentatif ou la séquence des mots appartenant à une même portion [S1] The greater our goal is, the more competition we need. [S2] Take Olympic games which is a form of competition for instance, it is hard to imagine how an athlete could win the game without the training of his or her coach, and the help of other professional staffs such as the people who take care of his diet, and those who are in charge of the medical care [S3] . The winner is the athlete but the success belongs to the whole team. Therefore [S4] without the cooperation, there would be no victory of competition [S5] .
Consequently, no matter from the view of individual development or the relationship between competition and cooperation we can receive the same conclusion that [S6] a more cooperative attitudes towards life is more profitable in one’s success.
FIGURE 2 – Un extrait d’une dissertation extrait du corpus. Les passages soulignés par un trait continu constituent des prémisses, ceux soulignés par un trait discontinu constituent des conclusions intermédiaires, et les passages en gras sont des conclusions majeures. Les numéros des segments [S#] sont rajoutés à titre indicatif. Le premier segment correspond à la portion du début du texte jusqu’à la première prémisse. Le second segment correspond à la première prémisse. Le troisième segment correspond à la portion non surlignée entre la première prémisse et la première conclusion intermédiaire, etc. de texte continue dont les mots n’appartiennent pas à un composant argumentatif. La notion de segment est illustré en Figure 2.
Nous encodons chaque segment si; i manière suivante : 2 [1; L] de la h!it = GR!U ([eit; hi(t1); yi(tEMS); hi(t2); yit (chunk)]) hit = GRU ([eit; hi(t1); yi(tEMS); hi(t2); yit (chunk)]) hit = [h!it; hit] où it représente l’instant t du segment si.
Afin que le modèle se concentre davantage sur les
marqueurs potentiellement importants (comme "I firmly
believe that" ou "we can receive the same conclusion
that") nous utilisons un mécanisme d’attention [
exp(ui|tuatt)
Pt exp(ui|tuatt) shi = X
ithit t Avec Watt, batt et uatt respectivement matrices, biais et vecteurs de paramètres.
Nous encodons ensuite la dissertation à partir des états cachés synthétiques shi des segments :
! h(4) = GR!U (shi); i 2 [1; L]
j h(4) = GRU (shi); i 2 [L; 1] j
! h(4) = [h(j4); h(j4)]
j La probabilité d’assigner une étiquette à un segment est ensuite calculée de manière similaire à celle pour les étiquettes EMS, mais avec un ensemble de paramètres propres à la couche DetCA. 4
Nous entraînons le modèle en alternant les couches à chaque "epoch" dans l’ordre suivant : EMS, chunking, DelCA, DetCA. Afin d’évaluer la pertinence d’implémenter un modèle multi-tâches, nous avons entraîné une version du modèle en omettant l’optimisation des couches EMS et chunking (nommée "w/o EMS & chunking") et une version du modèle en optimisant l’ensemble des couches (nommée "w/ EMS & chunking"). Les détails de l’entraînement de chaque couche sont explicités ci-dessous. 4.1
Nous suivons Hashimoto et al. [
X X log p(yt(1) = kjht(1))
s +
t kWEMS k2 + k e 0 2 ek Avec p(yt(1) = kjht(1)) la probabilité d’assigner la bonne étiquette k au mot wt de la séquence de mots s, kWEMS k2 est la régularisation L2 et k e e0k2 un régularisateur successif. et sont des hyper-paramètres. Le régularisateur successif a pour vocation de stabiliser l’entraînement en empêchant e d’être trop modifié spécifiquement par la couche EMS. e étant partagé par l’ensemble des couches du modèle, des modifications trop importantes apportées par l’entraînement de chaque couche empêcherait le modèle d’apprendre convenablement. e0 est l’ensemble des paramètres intervenant dans la couche de vectorisation des mots à l’époch précédente. 4.2
Nous notons chunk = (Wchunk; bchunk; EEMS ; e) l’ensemble des paramètres intervenant dans la couche chunking. Wchunk et bchunk sont respectivement les matrices de paramètres et biais de la couche chunking, incluant ceux de EMS . EEMS est l’ensemble des paramètres caractérisant la représentation vectorielle des étiquettes EMS. La fonction de coût est définie de la manière suivante : J (2) = +
X X log p(yt(2) = kjht(2))
s t kWchunkingk2 + k EMS
E0MS k 2 Avec p(yt(2) = kjht(2)) la probabilité d’assigner la bonne étiquette k au mot wt de la séquence de mots s. E0MS est l’ensemble des paramètres de la couche EMS obtenus avant d’entamer l’"epoch" courante d’entraînement de la couche chunking. 4.3
Notons DelCA = (WDelCA; bDelCA; EEMS ; Echunk; e) l’ensemble des paramètres intervenant dans la couche DelCA, avec WDelCA et bDelCA respectivement matrices de paramètres et biais de la couche DelCA, incluant ceux de la couche chunking et EMS. Echunk est l’ensemble des paramètres caractérisant la représentation vectorielle des étiquettes de la couche chunking. La fonction de coût est définie de la manière suivante :
J (3) = +
X X log p(yt(3) = kjht(3))
d t kWDelCAk2 + k chunk c0hunkk 2 Avec p(yt(3) = kjht(3)) la probabilité d’assigner la bonne étiquette k au mot wt de la dissertation d. c0hunk est l’ensemble des paramètres de la couche chunking obtenus avant d’entamer l’"epoch" courante d’entraînement de la couche DelCA. 4.4
Notons DetCA = (WDetCA; bDetCA; EEMS ; Echunk; e) l’ensemble des paramètres intervenant dans la couche DetCA, avec WDetCA et bDetCA respectivement matrices de paramètres et biais de la couche DetCA, incluant ceux de la couche chunking et EMS. La fonction de coût est définie de la manière suivante :
J (4) = +
X X log p(yi(4) = kjshi(4))
d i kWDetCAk2 + k chunk c0hunkk 2 Avec p(yi(4) = kjshi(4)) la probabilité d’assigner la bonne étiquette k au segment si de la dissertation d. 5 5.1
Optimisation. Nous entraînons le modèle en alternant
les couches, suivant l’ordre suivant : EMS, chunking,
DelCA, DetCA. Chaque couche est entraînée pendant une
"epoch" avant de passer à la couche suivante. Nous
utilisons Adam [
Initialisation des paramètres. Afin de faciliter la
propagation du gradient lors de l’entraînement, nous utilisons
des matrices orthogonales générées aléatoirement comme
états initiaux pour les matrices de paramètres des GRU,
comme préconisé par Saxe et al. [
vectorielle utilisée pour les mots en entrée du système et
les représentations vectorielles des étiquettes EMS et
chunking sont de dimension 50. Les états cachés des GRU sont
de dimension 100 pour toutes les couches du modèle.
Régularisation. En suivant [
chunking. Nous utilisons le corpus issu de la tâche
partagée CoNLL-2000 [
DetCA. Nous utilisons le corpus Argument Annotated Essays (version 2) partagé par Stab et Gurevych [2] en suivant le découpage entraînement/test fourni pour l’entraînement des couches DelCA et DetCA.
Arrêt de l’entraînement. Dans un cas d’entraînement uni-tâche, une pratique généralement adoptée est d’arrêter l’entraînement du modèle peu avant le surapprentissage. Dans le cas de notre modèle, il n’est pas évident de déterminer le meilleur moment pour arrêter l’entraînement, puisque le modèle peut surapprendre sur une tâche particulière, mais pas sur les autres. Ainsi, nous arrêtons l’entraînement du modèle lorsqu’il surapprend sur les couches DelCA et DetCA, et reportons les meilleurs résultats obtenus pour chaque tâche avant le surapprentissage de celle-ci. DetCa simple. Nous nommons DetCa simple la tâche DetCa avec la modification suivante : tous les segments des dissertations correspondant à des composants argumentatifs sont traités comme ne comportant qu’un unique mot spécial <VIDE>. L’hypothèse est que cette transformation Tâche DelCA
DetCA DetCA simple TABLE 1 – Macros f1-scores obtenus sur les différentes tâches.
Tâche DelCA DetCA forcera le modèle à se concentrer sur le contexte entourant les composants argumentatifs, et l’empêchera donc de se surentraîner en considérant les mots à l’intérieur des composants. 5.2
Les résultats obtenus sur les données de test pour les tâches DelCA, DetCA et DetCA simple sont présentés en Table 1. La colonne "w/o EMS & chunking" fait référence à la version du modèle pour laquelle l’optimisation des couches EMS et chunking a été omise. La colonne "w/ EMS & chunking" fait référence à la version du modèle pour laquelle l’optimisation des couches EMS et chunking a été réalisée. Nous prenons comme référence les performances atteintes par des agents humains 2 ainsi que les résultats présentés par Stab et Gurevych [2], illustrés en Table 2. Evaluation générale des performances. Nous obtenons un macro f1-score de 0.8688 sur DelCA avec la version "w/ EMS & chunking". Ces résultats sont obtenus sans définition de caractéristiques manuelles et sont comparables à ceux enregistrés en [2] ; ils atteignent 98,06% de la performance humaine. Concernant la classification des composants argumentatifs, nous obtenons un macro f1-score de 0.7911 avec DetCA simple pour la version "w/ EMS & chunking", ce qui représente 95,8% des performances obtenues en [2] et 91,1% de la performance humaine. Pertinence de DetCA simple. Selon nous, les mots formant un composant argumentatif ne sont pas réellement caractéristiques de sa classe, et en se concentrant dessus, le modèle peut être amené à modéliser du bruit l’empêchant de généraliser correctement. En revanche, le contexte dans lequel apparaissent les composants semble très important. Par exemple, des mots tels que "we can receive the same conclusion that" semblent indiquer que l’auteur va annoncer une conclusion intermédiaire ou majeure. Cela peut expliquer la différence de performances entre DetCA et DetCA simple, notamment pour la version "w/ EMS 2. La performance humaine correspond à la moyenne des résultats obtenus par des annotateurs humains, tels que présentés en [2] & chunking", avec respectivement un f1-score de 0.7105 contre 0.7911, soit une amélioration de 11,3%.
Pertinence du modèle multi-tâches. Les macro f1scores sur les tâches DelCA et DetCA simple sont respectivement de 0.5934 et 0.7529 pour la version "w/ EMS & chunking" et de 0.8688 et 0.7911, soit des améliorations de 46,4% et 5,1%. Ces résultats permettent donc de valider l’intérêt d’entraîner un modèle multi-tâches et incitent à l’ajout de tâches auxiliaires supplémentaires. 6
Les résultats obtenus sont encourageants et pourraient
sûrement être améliorés, notamment avec une recherche
plus d’approfondie d’hyper-paramètres optimaux. La
différence de performances entre les versions du modèle
"w/ EMS & chunking" et "w/o EMS & chunking" portent
à croire qu’implémenter davantage de tâches auxiliaires
pourrait être bénéfique. Une piste serait d’introduire une
couche modélisant un arbre de dépendances syntaxiques
en complément de la couche chunking, comme effectué en
[
En vue d’implémenter un système complet d’argument mining tel que présenté par Stab et Gurevych [2], nous prévoyons d’implémenter des couches permettant la génération automatique de graphes d’arguments. A cette fin il est nécessaire de déterminer s’il existe un arc entre chaque paire ordonnée de composants argumentatifs, ainsi que d’inférer l’étiquette portée par ledit arc. 7
Cet article a présenté une méthode d’extraction et d’analyse automatique d’arguments à partir de textes bruts. L’utilisation de techniques d’apprentissage profond nous permet de nous affranchir de la définition de caractéristiques manuellement définies. Par ailleurs, l’amélioration des performances de notre système par l’exploitation de paramètres optimisés sur des tâches auxiliaires met en avant l’intérêt de l’utilisation d’un modèle multi-tâches. Nous avons comme perspective la complétion de la chaîne de traitement existante en vue d’obtenir un système capable de synthétiser une dissertation par modélisation automatique d’un graphe d’arguments.
[1] M. Lippi et P. Torroni, Argumentation mining : State of the art and emerging trends, ACM Transactions on Internet Technology (TOIT), 16(2), p.10, 2016. [2] C. Stab et I. Gurevych, Parsing argumentation structures in persuasive essays, Computational Linguistics, 43(3), pp.619-659, 2017. [3] N. Madnani, M. Heilman, J. Tetreault et M. Chodorow, Identifying high-level organizational elements in argumentative discourse, Proceedings of the 2012 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, pp. 20-28, Association for Computational Linguistics, 2012. [4] R. Levy, Y. Bilu, D. Hershcovich, E. Aharoni et N. Slonim, Context dependent claim detection, Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics : Technical Papers, pp. 1489-1500, 2014. [5] Y. Ajjour, W.F. Chen, J. Kiesel, H. Wachsmuth et B.
Stein, Unit Segmentation of Argumentative Texts, Proceedings of the 4th Workshop on Argument Mining, pp. 118-128, 2017. [6] T. Goudas, C. Louizos, G. Petasis et V. Karkaletsis, Argument extraction from news, blogs, and social media, Hellenic Conference on Artificial Intelligence, pp. 287299, Springer, Cham, 2014. [7] C. Sardianos, I.M. Katakis, G. Petasis et V. Karkaletsis, Argument extraction from news, Proceedings of the 2nd Workshop on Argumentation Mining, pp. 5666, 2015. [8] S. Eger, J. Daxenberger et I. Gurevych, Neural End-toEnd Learning for Computational Argumentation Mining, arXiv preprint arXiv :1704.06104, 2017. [9] J. Eckle-Kohler, R. Kluge et I. Gurevych, On the role of discourse markers for discriminating claims and premises in argumentative discourse, Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2236-2242, 2015. [10] J. Park et C. Cardie, Identifying appropriate support for propositions in online user comments. Proceedings of the 1st Workshop on Argumentation Mining, pp. 2938, 2014. [11] I. Persing et V. Ng, End-to-End Argumentation Mining in Student Essays, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics : Human Language Technologies, Association for Computational Linguistics, pages 1384–1394, 2016.