1.1
Les troubles psychosociaux, et singulièrement les troubles dépressifs, sont une maladie touchant plus de 300 millions de personnes dans le monde. Ces troubles mentaux se caractérisent par une tristesse, une perte d’intérêt ou de plaisir, des sentiments de culpabilité ou de dévalorisation de soi, un sommeil ou un appétit perturbé, une certaine fatigue et des problèmes de concentration [1]. La maladie se décline en plusieurs termes, souvent liés au contexte (par exemple, la dépression post-partum, après la grossesse ; ou la dépression saisonnière, liée au manque de lumière l’hiver) et à la durée des symptômes, qui doivent persister au moins deux semaines pour caractériser une dépression [2]. Elle peut durer de quelques semaines à plusieurs mois voire années. Les conséquences sur l’individu atteint peuvent être multiples et de gravité variable. Parmi cellesci, on peut citer l’isolement, l’absentéisme au travail, voire même les mutilations ou le suicide. L’importance de venir en aide aux personnes touchées est plébiscitée, et ce à différentes échelles. Dans les entreprises, de plus en plus de mesures sont prises afin d’assurer le bien-être des employés et de réduire ainsi les facteurs de risque liés à la dépression. A moins de consulter un spécialiste, les malades ne sont pas toujours en mesure de réaliser qu’ils sont atteints d’un trouble qui, dans une grande majorité des cas, peut se guérir grâce à un suivi psychologique et/ou à la prescription de médicaments adaptés [3]. 1.2
Ces dernières années ont vu le nombre de travaux relatifs à l’analyse automatique du comportement émotionnel humain progresser de manière significative [4]. Plusieurs tentatives pour modéliser les émotions humaines ont été proposées, dont certaines sont très largement utilisées : une modélisation soit continue (le circumplex de Russell [5]), soit discrète (les émotions de base de Ekman [6] : tristesse, joie, colère, peur, dégoût et surprise). L’usage de la vidéo s’est petit à petit imposé comme source de données de choix pour l’analyse émotionnelle, bien qu’historiquement, des procédés plus invasifs aient été préférés, comme l’électrocardiogramme ou la conductance cutanée. Deux cadres d’études se distinguent. Le premier concerne la reconnaissance des émotions et le second, sur lequel nous nous focalisons ici, la prédiction des états dépressifs.
Encourageant les travaux dans ce domaine, des challenges
internationaux tels que AVEC [
Le développement d’un système qui, suite à la collaboration d’experts du domaine de la psychiatrie, pourra fournir un diagnostic automatique de l’état dépressif est un axe de bataille offert par l’Intelligence Artificielle pour prévenir l’apparition de tels troubles. En ce sens, l’effort proposé ici est double. Le premier est un outil orienté vers l’usage individuel, permettant à l’utilisateur d’évaluer la sévérité de la dépression dont il souffre. De cette manière, il pourra décider de la suite à donner à l’évaluation en allant consulter un spécialiste. Le second effort s’oriente vers l’usage du système par les experts, notamment pour sa capacité à se spécialiser sur un individu et à augmenter sa précision au fil des entretiens. Ainsi, il disposera d’une aide au diagnostic adaptée à chaque patient.
Le système est basé sur un classifieur neuronal, adapté au traitement de vidéos enregistrées ou capturées en direct. Le traitement produit en sortie un score dépressif, en termes du test Beck Depression Inventory II (BDI-II). Dans la partie 2, l’on présentera les données utilisées avant de décrire le classifieur utilisé dans la partie 3. La partie 4 pose les conditions expérimentales retenues dans le cadre de cette étude, et la partie 5 présente les résultats obtenus. Enfin, une conclusion et une ouverture sur des perspectives composera la partie 6. 2 2.1
L’AudioVisual Emotion Challenge (AVEC) [
Pour l’étude présentée dans cet article, nous retenons les
données visuelles des 200 vidéos des tâches Freeform et
Northwind. Cela représente un jeu de données de 291 155
images semblables à celles de la Figure 1.
Le test d’évaluation de l’état dépressif Beck Depression
Inventory (BDI) [
Afin de classifier les vidéos selon leur score BDI-II, on
extrait, pour chaque image, un ensemble de 68 points faciaux
d’intérêt (voir Figure 2). Cela nécessite, en amont, la
détection et le redimensionnement des visages. L’extracteur
de points d’intérêts utilise le modèle de Kazemi et
Sullivan [
M = sxcos( ) sin( ) sin( ) tx sycos( ) ty (1) 3
Le choix du classifieur incrémental pour prédire l’état
dépressif a été motivé à la fois par les inspirations biologiques
sous-jacentes, comme démontré par Grossberg dès la fin
des années 80 (voir [
Le modèle ART (Adaptive Resonance Theory) de
Grossberg [
ENTREES
PROTOTYPES
CLASSES
FIGURE 3 – Architecture du classifieur incrémental.
Selon le protocole précisé ci-dessous (partie 3.2), de
nouveaux prototypes sont créés pendant le processus
d’apprentissage. Néanmoins le fait que leur nombre, qui dépend de
la taille de la base d’apprentissage ainsi que du nombre de
classes, reste faible par rapport au nombre d’exemples
garantira que le classifieur aura extrait des données une
information synthétique. Les prototypes sont représentés dans le
même espace que celui des données, ce qui rend aisée leur
interprétation, ainsi que leur appréhension par des experts
dans le cadre d’un travail transversal [
La phase d’apprentissage consiste en une seule passe de la base d’exemples et elle suit un algorithme par compétition. Initialement, le premier exemple est recopié comme unique prototype et on l’associe en sortie à la classe de l’exemple. Par la suite, pour chaque nouvel exemple présenté X, on cherche le prototype Pmeilleur qui en est le plus proche, au sens de la mesure choisie (voir discussion ci-dessous). A priori, si la classe de Pmeilleur est celle de l’exemple, le prototype est gagnant et sa connexion avec l’exemple est modifiée afin de l’en rapprocher. Sinon, un nouveau prototype est créé à l’image de l’exemple et est associé en sortie à la classe de l’exemple.
Une exception à l’adaptation de Pmeilleur relève d’une condition plus subtile : on cherche, parmi les prototypes les plus proches de l’exemple, le premier prototype dont la classe est différente de celle de Pmeilleur, et on le nomme Psecond. S’il y a risque de confusion, i.e. dans une zone de l’espace d’entrée ou des motifs proches doivent être associés à des classes distinctes, alors un nouveau prototype est créé.
Le sens de proximité se réfère ici à une mesure de distance ou de similarité entre un exemple et un prototype. La mesure est choisie en accord avec le problème à traiter, ce qui rend les classifieurs incrémentaux flexibles et adaptables. On peut utiliser une distance de Mahalanobis, qui accorde un poids moins important aux composantes les plus dispersées, ou une distance de Minkowski (équation 2) qui permet un calcul plus rapide.
n X i=1 dminkp = j xi yi j p
(2) !1=p Pour p = 2, on retrouve la distance euclidienne qui est particulièrement adaptée aux situations où les descripteurs sont des coordonnées, comme c’est le cas pour les points faciaux d’intérêt. Après avoir vérifié que des valeurs p > 2 ne produisaient pas de résultats significativement meilleurs, nous avons opté pour la distance euclidienne et nous la noterons d. 3.3
L’algorithme d’apprentissage du classifieur incrémental propose trois hyperparamètres de contrôle afin de répondre au dilemme stabilité-plasticité (stability-plasticity dilemma), c’est-à-dire de tenir compte des nouveaux éléments à apprendre sans oublier ceux déjà mémorisés. Seuil d’influence. Le seuil d’influence sinf du modèle définit la valeur à laquelle doit être inférieure la distance entre un exemple et son meilleur prototype, tel que décrit par l’équation 3. Si cette condition n’est pas vérifiée, on crée un nouveau prototype.
d(Pmeilleur; X) sinf (3) Seuil de confusion. Le seuil de confusion sconf aide à lever les ambiguités dans les zones frontières entre classes distinctes et s’utilise comme décrit par l’équation 4. Si cette condition n’est pas vérifiée, on crée un nouveau prototype. d(Pmeilleur; X) d(Psecond; X) > sconf (4) Coefficient de rapprochement. Lorsqu’aucun nouveau prototype n’est créé, l’adaptation de Pmeilleur à l’exemple X est contrôlée par le coefficient de rapprochement . L’équation 5 décrit la modification des poids du neurone prototype.
Pour i tel que Pi = Pmeilleur, 8j; wji wji + (xj wji) (5) Plus ce coefficient est grand, plus la représentation modélisée par Pmeilleur se rapproche de l’exemple et plus on accroît la création de prototypes. A contrario, pour un coefficient petit, Pmeilleur sera peu modifié et le nombre de prototypes restera limité. On note que, pour = 0:5, on calcule le barycentre entre les deux entités. 3.4
La généralisation respecte les mêmes contraintes que l’apprentissage, mais il n’y a plus de création ni de modification de prototypes. Pour chaque nouveau motif n’ayant pas participé à l’apprentissage du modèle : 1. Présenter un motif X 2. Rechercher Pmeilleur tel que d(Pmeilleur; X) soit minimale 3. Rechercher Psecond tel que la classe de Psecond soit différente de celle de Pmeilleur 4. Si Pmeilleur est trop éloigné de X ou s’il y a risque de confusion : 8 d(Pmeilleur; X) > sinf < ou : d(Pmeilleur; X) d(Psecond; X) sconf
Sinon Si la classe de Pmeilleur est celle de X, Alors X est reconnu (bonne réponse) Sinon X n’est pas reconnu (mauvaise réponse) 3.5
Le classifieur incrémental est en mesure de produire, en sortie, trois types réponses : une "non-réponse", une "bonne-réponse" ou une "mauvaise réponse". En particulier, une non-réponse est rendue lorsque le meilleur prototype Pmeilleur de l’exemple d’entrée est trop éloigné de ce dernier, ou lorsque la distance entre Pmeilleur et Psecond est trop faible au regard de l’exemple. Cette réponse, en plus de se rapprocher du diagnostic que ferait un humain, peut être considérée comme un indicateur de fiabilité du score dépressif calculé pour un sujet donné (voir 5.3). Dans le cas où le système produirait un grand nombre de nonréponses, la classification pourrait être jugée peu fiable.Le cas échéant, le système peut être spécialisé sur l’individu, via un réapprentissage du modèle, sur décision d’un expert. Cette possibilité d’obtenir une "non-réponse" est une spécificité précieuse de ce type de classifieur, le rendant plus proche d’un diagnostic humain. 4
Le classifieur incrémental est entraîné pour associer à chaque image (cf. 2.1) le score BDI-II de la vidéo dont elle a été extraite. Afin de réduire les risques liés au surapprentissage, et pour disposer d’un plus grand nombre de classes représentées, nous avons mélangé les partitions de développement et d’apprentissage dont nous disposions. De plus, les exemples ont été stratifiés afin que chaque classe soit toujours représentée en quantité raisonnable dans les ensembles d’apprentissage et de généralisation. A priori, il conviendrait d’apprendre un modèle en régression pour lire en sortie la valeur du score. Cependant les différentes valeurs sont en nombre limité (seulement 41 présentes dans les vidéos étudiées, parmi les 64 valeurs possibles en théorie) et chacune sera considérée comme une classe. Il est important de noter que le système ne sera pas en mesure de discriminer, en généralisation, une classe inexistante dans les données d’apprentissage. De plus, compte tenu de la Table 1, on pourra a posteriori regrouper les scores numériques dans des intervalles pour qualifier de manière descriptive la sévérité de la dépression. 4.1
Nous retenons trois stratégies pour les expériences : Classique : construction d’un modèle sur une base d’apprentissage puis estimation de la performance en généralisation sur une base disjointe ; M Validation croisée : une partition S = [m=1Sm de la base de données S étant réalisée, apprentissage de M modèles, chacun sur S = [k6=mSk, avec estimation de sa performance en généralisation sur Sm ; Flux continu : un modèle ayant été appris, utilisation en temps-réel pour prédire l’état dépressif d’un individu placé devant une webcam.
La stratégie "classique" a été mise en oeuvre en premier, afin d’étudier le comportement du modèle et de valider les choix de prétraitements et d’extraction des descripteurs (présentés en 2.3). Au fil de ces expérimentations, la taille de la base de généralisation a été fixée à 3/10e des données, distinctes des 7/10e ayant servi à entraîner le modèle, comme le récapitule la Table 2.
TABLE 2 – Composition des ensembles de données pour la stratégie classique
Généralisation
Total Les meilleurs hyperparamètres pour le modèle ont été déterminés au moyen d’une recherche en grille (grid search) pour tenir compte des interactions entre hyperparamètres. Les résultats présentés ci-dessous ont été obtenus avec un seuil d’influence de 70, un seuil de confusion de 0:1 et un coefficient de rapprochement de 0:1. Les meilleures performances obtenues dans le cadre de la stratégie "classique" sont présentées dans la Table 3 pour les taux de succès et la Table 4 pour les indicateurs d’erreur. Notons que ces résultats, en particulier les RMSE, ne sont pas directement comparables avec ceux du challenge AVEC’2014 cités en 1.2 dans la mesure où nous n’avons pas accès à la partition de test réservée aux organisateurs du challenge, et où nous n’avons pas choisi le même partitionnement des données pour nos essais. Cette stratégie oblige à construire le modèle en n’utilisant qu’une partie des données (70% ici). En revanche, la stratégie "validation croisée" permet, après estimation moyenne de la performance en généralisation sur M modèles, de construire un M + 1eme modèle qui apprend sur toutes les données à disposition. La Table 5 donne les performances pour une validation croisée avec M = 10, où l’algorithme apprend sur 262 040 exemples et généralise sur les 29 115 restants. En effet, les bases Freeform et Northwind ont été mélangées puisque la stratégie "classique" a démontré la similarité de leur comportement.
TABLE 5 – Performances en validation croisée sBcoorne intBerovnalle RMSE 90.73% 94.51% 4.30 MAE 0.97 On note un gain de performance d’environ 4 % en passant du nombre de bien classés par score BDI-II au nombre de bien classés par intervalle de sévérité dépressive. Cette amélioration confirme l’existence d’une continuité entre états dépressifs de sévérité proche, et témoigne de la capacité du système à la saisir. Le nombre de prototypes est de l’ordre de 15% à 18% du nombre d’exemples. 5.2
TABLE 6 – Comparaison des performances des classifieurs de la littérature
SVM MLP Random Forest C. Incrémental
Bon score
Les performances du classifieur incrémental sont
comparées aux performances de classifieurs de la littérature dans
la Table 6. Les taux de succès ont été obtenus en
généralisation sur 30% des données via la stratégie classique exposée
en 4.1, après un apprentissage sur 70% de la base
complète. Les temps de réponse des classifieurs à un nouveau
motif présenté ont aussi été mesurés. Le CI n’est pas le
plus performant en termes de taux de succès, mais présente
le meilleur compromis entre qualité et rapidité de la
réponse. Ce point est essentiel dans le cadre d’un outil d’aide
au diagnostic puisque le système doit pouvoir donner une
estimation en flux continu.
À l’issue de la validation croisée, le classifieur a été
entraîné sur l’ensemble des 291 155 images disponibles.
Les performances à considérer sont celles obtenues en
moyenne (voir Table 5). Il peut désormais être utilisé
en prédiction pour fournir une estimation automatique de
l’état dépressif d’un individu faisant face à une simple
webcam [
La fréquence des images est de 30 par seconde lors de la capture. Cependant, l’expression dépressive s’évaluant sur la durée, il n’est pas nécessaire de traiter toutes les images produites. On fixe un nombre d’images n à traiter par secondes (par exemple, n = 10) ainsi qu’une durée d’enregistrement. Les images sont prétraitées et les descripteurs extraits comme décrit dans la partie 2.3. Chacune est alors comparée aux prototypes par l’algorithme de généralisation (cf. partie 3.4).
La sortie du système est une valeur d’état dépressif du sujet filmé estimée par le score BDI-II majoritaire sur une période p donnée en secondes (par exemple : p = 20). Notons au passage que cette procédure permet d’effacer au fur et à mesure les données personnelles qui n’auront été enregistrées que temporairement. Comme suggéré dans la partie 3.5, les non-réponses pourront être à terme exploitées comme indicateur de fiabilité du classifieur. 5 10 15
20 Score BDI-II 25 30 35 40 FIGURE 4 – Distribution des scores proposés par la classification en flux continu Il est important de noter que, dans ce dernier contexte, il ne nous est pas encore possible d’évaluer de réelles performances. Par exemple, la pertinence des scores BDI-II fournis par le système ne pourra être validée que lorsqu’un protocole expérimental sera mis en place, en collaboration avec un expert humain (voir partie 6). Néanmoins, la faisabilité du traitement on-line a été établie par l’un des auteurs de cet article : en filmant son propre visage, il a obtenu un score stable de 6 sur une période d’une vingtaine de secondes, avec un nombre de non-réponses de 20 sur 500 matérialisé par la ligne horizontale sur la Figure 4. 200 180 160 ten140 a ilss120 g tre100 ê fren 80 u se 60 d oM40 20 0 0 6, 196
Nous avons proposé un classifieur incrémental à base de prototypes afin de déterminer l’état dépressif d’un individu à partir d’une vidéo. Le prétraitement des images permet de réduire fortement le biais introduit par les différences d’échelle et les spécificités morphologiques des sujets. La classification rapide autorise, sous couvert de validation par un expert, le développement d’un module de classification en temps-réel de l’état dépressif, en capturant le flux vidéo directement via une webcam.
Le système pourra facilement être utilisé par un praticien comme outil d’aide au diagnostic et de suivi de patient, ce dernier pouvant lui-même effectuer des évaluations de son état à l’aide d’un matériel peu coûteux. Si cela s’avère nécessaire, l’outil pourra être ré-étalonné (phase d’apprentissage complémentaire) pour mieux s’adapter à un patient précis. Sur le plan technique, notons cependant que l’accroissement du nombre de prototypes aura pour effet de ralentir le traitement. Pour cela, nous proposons en perspective l’étude d’une procédure d’élagage, visant à réduire le nombre de prototypes. Ce type de procédure va de paire avec tout système incrémental, et est en phase active de développement, raison pour laquelle elle n’est pas présentée dans cet article.
Notons enfin que la plupart des travaux sur la dépression
utilisent à la fois les modalités visuelle et auditive, à l’instar
de Yu et al. [
Le travail décrit dans cet article a été réalisé en Python. En
ce sens, ses auteurs souhaitent remercier les contributeurs
de Numpy [
[1] (2018) Depression. Organization World Health.
Accessed 2018-04-02. [Online]. Available : http ://www.who.int/mediacentre/factsheets/fs369/fr/ [2] (2018) Depression. Health National Institute of Human. Accessed 2018-04-02. [Online]. Available : https ://www.nimh.nih.gov/health/topics/depression/ [3] R. J. DeRubeis, G. J. Siegle, and S. D. Hollon, “Cognitive therapy vs. medications for depression : Treatment outcomes and neural mechanisms,” Nat. Rev.
Neurosci., no. 10, pp. 788–796, oct. [4] Z. Zeng, M. Pantic, G. I. Roisman, and T. S. Huang, “A survey of affect recognition methods : Audio, visual, and spontaneous expressions,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 31, no. 1, pp. 39–58, 2009. [5] J. Russell, “A circumplex model of affect,” J. Pers.
Soc. Psychol., vol. 39, no. 6, pp. 1161–1178, 1980. [6] P. Ekman, “Differential Communication Of Affect By Head And Body Cues.pdf,” J. Pers. Soc. Psychol., vol. 2, no. 5, pp. 726–735, 1965.