La segmentation thématique est une nouvelle technique pour l ' amélioration de l'accès à l ' information, elle peut être définie comme la tâche de subdivisi o n d ' un document en plusieurs paragraphes thématiquement cohérents. En recherche d'information par exemple, avoir des documents thématiquement segmentés peut résulter en la récupération des segments de texte courts et pertinents qui correspondent directement à la requête d'un utilisateur au lieu de longs documents examiné avec soin par l ' utilisateur pour trouver l'objet de son intérêt. Avoir des documents thématiquement segmentés peut aussi aider dans la tâche de résumé automatique des textes puisque un meilleur résumé peut être obtenu de la fusion des différents segments constituant le document [7]. Au temps où un nombre considérable de recherches a é t é c o n s a c r é à l ' é t u d ecette technique pour les langues anglaise et française, peu l'ont étudié pour d ' autres langues et presque personne, à l ' e x c e p t i o n d e [7] et [12], n ' a é t u d i é c e t t e t e c h n i q u e pour langue arabe. Le manque de recherche dans ce domaine nous a poussés à adopter les deux algorithmes de segmentation thématique TextTiling et C99 pour une telle langue. Cet article est organisé comme suit: la Section 2 présents u n é t a t d e l ' a r t d a n s l e d o ma i n e ; la Section 3 présents une vue d'ensemble des approches implémentés; les résultats et leur discussion sont rapportées dans la Section 4; finalement la Section 5 conclut l' a r t i c l e .
Les approches qui adressent le problème de segmentation thématique peuvent être classées en deux classes : les approches à base de connaissance et les approches à base de mot. Les systèmes à base de connaissance, comme dans [11], exige un grand effort ma n u e l d e l ' i n g é n i e r ie de connaissance pour la créa t i o n d ' u n e base de connaissance (réseau sémantique et/ou de Frames). Ceci est seulement réalisable dans quelques domaines très restreints. Pour dépasser cette limitation, et pour traiter une grande quantité de textes, les approches à base de mot ont été développées. [13] et [20] fait usage de la distribution des mots dans un texte pour trouver une segmentation thématique. Ces travaux sont bien adaptés à des textes techniques ou scientifiques caractérisés par un vocabulaire spécifique.
Pour traiter des textes narratifs ou explicatifs tels que les articles des journaux, les approches [17] et [22] sont basées sur la cohésion lexicale calculée à partir d'un réseau lexical. Ces méthodes dépendent de la présence du vocabulaire du texte à l'intérieur de leur réseau. Donc, pour éviter toute restriction de domaines dans tels genres de textes, [20] a présenté une méthode mixte qui augmente un système basée sur la distribution des mots, en utilisant les connaissances représentés par un réseau lexical de cooccurrences construit automatiquement à partir d'un corpus.
Les autres approches Existantes de segmentation thématique peuvent être classées dans deux groupes principaux: les approches à base de cohésion lexicale et les approches à base d ' a t t r i b u t s . Les approches à base de cohésion lexicale dépendent de la tendance des unités thématiques à lier ensemble. En outre, les approches qui mesurent ce type de cohésion peuvent être divisées en deux catégories: les approches à base de similarité où les modèles de répétitions syntactiques sont utilisés pour indiquer la cohésion et les approches à base de chaînes lexicales où autres aspects de cohésion lexicale (comme les relations entre termes) sont aussi analysé [3].
Dans cette section, deux algorithmes de segmentation thématique des textes sont décrits: TextTiling [13] et C99 [5]. Les deux systèmes sont basés sur la cohésion lexicale. L'algorithme TextTiling utilise la mesure de similarité Cosine entre les vecteurs des termes pour mesurer la densité de la cohésion entre blocs adjacents. L'algorithme C99 utilise aussi la mesure de similarité Cosine pour déterminer des ressemblances parmi les phrases du texte puis il projette ceux-ci graphiquement. Il applique alors des techniques de traitement d'image pour déterminer des frontières thématiques.
L'étape de pré-traitement traite l e s f l u x d ' e n t r é een enlevant les étiquettes et les ponctuations et en transformant les termes en lemmes. En premier lieu, nous allons construire des blocs de texte appelés « séquences lexicales ». Le texte de l'entrée est simplement une séquence de caractères avant le pré-traitement. C'est la responsabilité du pré-processor de transformer cette séquence en unités sémantiques dans la phase d ' a n a l y s e l e x i c a l e . Ces unités peuvent être des mots simples tels que les mots programme et création, ou des expressions composées telles que Les États-Unis (par opposition à États et Unis).
L'algorithme TextTiling, pour la découverte des structures thématiques en utilisant la répétition des termes, se décompose de trois parties principales [13]:
Le découpage physique. Détermination de la similarité. Identification des frontières.
C' est l' un des travaux fondateurs dans le domaine de la détection de thème, TextTiling réalise le découpage d' un texte en unités de discours multi paragraphe cohérentes qui reflète la structure thématique du texte cf. Figure 1. Cet algorithme utilise la fréquence lexicale indépendamment du domaine et la distributivité pour reconnaitre l' interaction de thèmes simultanés multiples. Elle se base sur un modèle d' espace vectoriel qui détermine la similarité entre des groupes voisins de phrases et place une coupure entre des blocs voisins dissimilaires.
La première étape est le découpage physique Elle se base sur une mesure de similarité lexicale. Les lemmes issus du texte prétraites sont groupes en pseudo phrases, c'est-adire un ensemble de lemmes adjacents (20 dans l'article), qui sont elles-mêmes regroupées en bloc de Taille fixée par l'utilisateur (cf. Figure 1). Cette taille des segments est variable, elle peut aller de 3 à 5 pseudo phrases a un paragraphe. En général, on prend la moyenne de la longueur des Paragraphes. Les paragraphes réels ainsi que les phrases ne sont pas pris car leur longueur Peut être fortement irrégulière conduisant à des comparaisons déséquilibrées.
La deuxième étape est le calcul de la similarité entre blocs adjacents La similarité entre des blocs de pseudo phrase adjacents est calculée cf. Figure 1 par Une mesure du cosinus cf. Equation 1 : étant donne des blocs de textes b1 et b2,
Où t s ' é t e n d à l ' e n s e mb l e d e s t e r me s d a n s l e d o c u me n t e t w t,b1 est le poids tf.idf assigné au terme t dans le bloc b1. tf.idf correspond au nombre de lemmes communs et au n o mb r e d e f o i s q u ' i l s a p p a r a i s s e n t dans le texte tout entier. Donc, si le score de la similarité entre deux blocs est élève, alors non seulement les Blocs ont des termes en c o mmu n , ma i s l e s t e r me s q u ' i l s o n t e n c o mmu n s o n t r e l a t i v e me n trares en ce qui concerne le reste du document. L' évidence de la réciproque n' est pas aussi concluante : si des blocs adjacents ont une mesure de similarité faible, cela ne signifie pas n é c e s s a i r e me n t q u ' i l s n e s e t i e n n e n t p a s e n s e mb l e ; c e p e n d a n t , e n p r a t i q u e c e t t e évidence négative est souvent justifiée. précédant. On c o n t i n u e j u s q u ' à c e q u e l e s c o r e s o i t p l u s b a s q u e c e l u i d é j à e x a mi n e r. Ensuite, on soustrait le score de similarité du creux initial avec le score maximum de similarité rencontre. Cette procédure est répétée pour les creux entre les blocs suivant le premier creux. Enfin, la somme des deux différences est calculée.
Cette valeur est le score de cohésion pour le premier creux examine, les scores de cohésion ne sont calcules que pour les creux qui sont des minimaux locaux pour la fonction de similarité. Les limites, c' est-a-dire les zones de changements de thèmes, sont déterminées en localisant les portions les plus basses des vallées dans le graphique résultant. En d' autres termes, les creux avec de fort score de cohésion sont sélectionnes comme les endroits de rupture de thèmes. Cette coupure est ajustée a la fin d' un paragraphe. Ceci permet d' éliminer les coupures très proches l' une de l' autre.
Cet algorithme proposé par [5] utilise une mesure de similarité entre chaque unité t e x t u e l l e . L ' i d é e d e b a s e d e c e t t e mé t h o d e e s t q u e l e s me s u r e s d e s i mi l a r i t é e ntre des segments de textes courts sont statistiquement insignifiantes, et que donc seul des classements locaux (voir ci-dessous) sont à considérer pour ensuite appliquer un algorithme de catégorisation sur la matrice de similarité. Dans un premier temps, une matrice de similarité est donc construite, représentant la s i mi l a r i t é e n t r e t o u t e s l e s p h r a s e s d u t e x t e à l ' a i d e d e l a me s u r e d e s i mi l a r i t éCosinus, calculée pour chaque paire de phrases du texte, en utilisant chaque mot commun entre les phrases, et après « nettoyage » du texte : suppression des mots vides et lemmatisation. On e f f e c t u e e n s u i t e u n « c l a s s e me n t l o c a l » , e n d é t e r mi n a n t p o u r c h a q u e p a i r e d ' u n i t é s textuelles, le rang de sa mesure de similarité par rapport à ses m × n − 1voisins, m × n étant le ma s q u e d e c l a s s e me n t c h o i s i . L e r a n g e s t l e n o mb r e d ' é l é me n t s v o i s i n s a y a n t une mesure de s i mi l a r i t é p l u s f a i b l e , c o n s e r v é s o u s l a f o r me d ' u n r a t i o r a f i n d e p r e n d r e en compte les effets de bord. (
Enfin, la dernière étape détermine les limites de chaque segment de la même manière q u e l ' a l g o r i t h meDotplotting [24] emploie la maximisation. En effet on cherche à déterminer quelle configuration offre la plus grande densité, en recherchant une nouvelle limite thématique à chaque étape. Les segments sont alors représentés par des carrés le long de la diagonale de la matrice de similarité modifiée avec les classements locaux. Pour chaque segment de la répartition proposée à une étape de la segmentation on considère son aire notée a k et son poids s k qui e s t l a s o mme d e s t o u s l e s r a n g s d e s p h r a s e s q u ' i l c o n t i e n t . On c a l c u l e alors la densité D de la configuration avec :
L ' a l g o r i t h me s ' a r r ê t e l o r s q u e l a d e n s i t é d e l a me i l l e u r e r é p a r t i t i o n p r o p o s é e e s t suffisamment faible, ou si le nombre de frontières thématiques est déjà déterminé, l o r s q u ' i l e s t a t t e i n t .
Pour l'évaluation des deux algorithmes TextTiling et C99, on se base sur les jugements de sept lecteurs, chaque lecteur parmi les sept a fait la lecture et la segmentation manuelle de 5 textes arabes traitant des sujets de deux domaines différents (Littérature, Médecine). Les textes utilisés pour cette évaluation ont une longueur moyenne entre 600 et 2000 mots. Les lecteurs ont été invités simplement à délimiter les paragraphes auxquels il y a un changement de thème, cette délimitation restera subjective pour chaque lecteur.
Le schéma de la figure (Fig. 3) montre les limites faites par les sept lecteurs sur les textes. Ce schéma nous aide à illustrer les tendances générales des évaluations des lecteurs, et également à montrer où/et combien de fois ils sont en accord ou en désaccord. Par exemple, tous les lecteurs sauf le quatrième ont marqué une frontière au paragraphe 7. Ce lecteur en désaccord avec les autres a délimité la frontière au paragraphe 1 0 . L ' e n s e mb l e d e s f r o n t i è r e s p o u r l e s q u e l l e s l e s l e c t e u r s s o n t t o u s e n accord sont les suivants: {12, 20, 22, 31, 33, 37, 38, 50}. Par contre, il y a un désaccord pour les frontières suivantes: {1, 15, 18, 41,43, 44, 45 …} . , si quatre ou plus sur sept lecteurs marquent la même frontière, la segmentation s'avérée. Mais, deux années après [18], ont montré que trois lecteurs sont considérés suffisamment pour classifier ce point comme une frontière "principale". [4] et [14] précisent l'importance de tenir en compte l ' a c c o r d f o r t u i t e t p r é v u e n c a l c u l a n t si les lecteurs convenir de manière significative. A c e t t e f i n , I l s c o n s e i l l e n t d ' u t i l i s e r l e coefficient de Kappa (K). S'accorder à [4], K mesure par paires l'accord parmi un e n s e mb l e d e l e c t e u r s f a i s a n t d e s c a t é g o r i e s d e j u g e me n t s , c a l c u l a n t s e l o n l ' é q u a t i o n ( 4 )
.
Où P (A) est la proportion de fois que les lecteurs conviennent et P(E) est la proportion de fois où on s'attendrait à ce qu'ils conviennent par hasard. Le coefficient peut être calculé en faisant par paires des comparaisons contre un expert ou en comparant à une décision de groupe. [4] déclare également que si K > 0.8 ceci signale que la segmentation est bonne, et si K > 0. 67 et K < 0.8 cela permet de donner des conclusions expérimentales acceptables. Les coefficients trouvés par [14] se sont étendus du 0.43 au 0.68 pour trois lecteurs, et ceux trouvées par [4] sont étendus du 0.65 à 0.90 pour quatre lecteurs segmentant des phrases.
Dans notre évaluation, nous concéderons que trois jugements en accord sont a c c e p t a b l e s p o u r c o n s i d é r e r l a f r o n t i è r e j u s t e . A p a r t i r d e l a f i g u r e ( F i g . .
(
Tandis que le rappel est défini comme: [11]. Le tableau 2 présente les valeurs de rappel et de précision pour cinq textes du corpus de référence segmentés par l ' a l g o r i t h me TextTiling. On voit bien que les valeurs de rappel pour cet algorithme sont très basses, allant de 0. 0 0 j u s q u ' à 0 . 6 0 , t a n d i s q u e les valeurs de précision sont hautes, allant de 0.40 j u s q u ' à 1.00.