Impact des informations sØmantiques sur la catØgorisation automatique des documents cliniques

Abstract

: Coding of discharge summaries is performed in hospitals daily. We propose to study the impact the use of semantic information may have on this coding. The complementarity of structured medical terminology and medication resource is evaluated on a collection of 1,237 discharge summaries. Performances of the system are improved with the specialization of terminological data.

Keywords

• Medical coding semantic resources categorization hierarchical structure

Introduction

Les hpitaux modernes gØnŁrent des volumes de donnØes de plus en plus gros : comptes-rendus, prescriptions, rØsultats de prØlŁvements biologiques et anatomo-pathologiques, rØsumØs d’imagerie, lettres aux collŁgues, etc. Ces donnØes peuvent Œtre enregistrØes et stockØes sous formØ structurØe (dates de naissance, dates de visite, noms, prØnoms, adresses, ...), grce en particulier aux systŁmes d’information hospitaliŁre et aux outils de gestion des donnØes patient. Depuis peu, des donnØes mØdicales (diagnostics, observations, ...) peuvent aussi Œtre enregistrØes sous forme structurØe grce l’utilisation de questionnaires spØciques (Chen et al., 2008). Mais la plupart des donnØes mØdicales et biologiques, pertinentes pour une tche, restent enfouies au milieu des donnØes non structurØes. L’accŁs ces donnØes est un enjeu toujours rØel et requiert des mØthodes et algorithmes appropriØs. Dans ce travail, nous nous sommes intØressØs l’extraction d’information partir des documents cliniques et plus particuliŁrement la dØtection des pathologies et co-morbiditØs. Cette tche est reprØsentative des types de tches que les cliniciens et chercheurs eectuent en routine dans les hpitaux dans de diØrents contextes, comme : codage mØdico-Øconomique (codage des dossiers patient pour rendre compte de l’activitØ d’un hpital), recherche clinique (constitution de cohortes de patients ayant des caractØristiques donnØes), mØdecine translationnelle (crØation d’un lien plus direct entre la recherche thØrapeutique et les soins des patients, an de les faire bØnØcier des traitements plus performants et appropriØs (Rader & Daugherty, 2008) ).

L’utilisation des connaissances spØciques aux domaines, souvent proposØes par les terminologies, est alors indispensable. La projection et reconnaissance de termes devient ainsi une tche importante et il a ØtØ montrØ que l’utilisation de synonymes ou l’ explosion du concept amØliorent les performances de systŁmes automatiques (Jacquemin & Tzoukermann, 1999; Grau et al., 2005) . Mais les terminologies proposent d’autres informations sØmantiques qui restent relativement peu exploitØes. Nous sommes tout particuliŁrement intØressØs par l’exploitation de la structure hiØrarchique des terminologies et de la spØcicitØ des termes. De telles donnØes commencent Œtre exploitØes dans la la ngue gØnØrale (Baziz et al., 2007 ). Quant au domaine biomØdical, plusieurs travaux ont ØtØ rØalisØs grce l’accessibilitØ de terminologies structurØes. Ainsi, (Masys et al., 2001) ont exploitØ la structure hiØrarchique du MeSH pour interprØter les rØsultats sur les puces ADN. Les rØsultats montrent que l’utilisation des niveaux hiØrarchiques supØrieurs apporte un biais : ils induisent une sur-reprØsentation cause des termes qu’ils subsument. Il apparat Øgalement que l’exploitation des informations hiØrarchiques est particuliŁrement bØnØque lorsqu’elles sont combinØes des informations linguistiques : collocations, dØpendances syntaxiques, lemmes (Stevenson et al., 2008) ; ou des donnØes biologiques (Savova et al., 2008) . Par ailleurs, l’utilisation de diØrents types de termes MeSH (termes spØciques (Main Headings ) ou complØmentaires) inuence les performances des systŁmes de maniŁre non homogŁne (Funk et al., 1983; NØvØol et al., 2007) .

Dans notre travail, nous proposons d’appliquer les mØthodes de catØgorisation automatique de documents cliniques et, plus particuliŁrement, d’Øtudier l’impact de la spØcicitØ des termes sur la dØtection de diagnostics dans des documents cliniques. Nous travaillons avec les documents fournis par le I2B2 2008 challenge 1, orientØ sur la dØtection des cas d’obØsitØ et de ses co-morbiditØs. 2

MatØriel

Comptes-rendus et donnØes de rØfØrence

Les comptes-rendus fournis par le I2B2 challenge sont Øcrits en anglais. Ils ont ØtØ anonymisØs (Sibanda & Uzuner, 2006) . Ces documents (n=1 237) se composent de deux ensembles : documents d’entranement (n=730) et documents de test (n=507). Ces donnØes ont ØtØ annotØes : les pathologies recherchØes sont indiquØes comme Y prØsentes, N absentes ou Q possibles (questionnables ). Le statut Q correspond des situations oø, suite la lecture d’un compte-rendu, une pathologie est suspectØe ou bien elle parat ne pas Œtre acquise dØnitivement. Ces annotations de rØfØrence ont ØtØ eectuØes manuellement par deux experts mØdicaux. En cas de divergence inter-expert, un consensus a ØtØ Øtabli. La distribution des annotations entre les catØgories Y , N et Q, toute pathologie confondue, n’est pas homogŁne. Par exemple, dans l’ensemble d’entranement (10 655 annotations), nous observons 69 % (n=7,362) d’annotations N , 31 % (n=3,267) d’annotations Y et seulement 0.2 % (n=26) d’annotations Q.

Terminologies

Pathologies. Nous utilisons la liste des 16 pathologies du I2B2 challenge relatives l’obØsitØ et ses 15 co-morbiditØs les plus frØquentes : asthma (asthme), CAD (maladie de l’artŁre coronaire), CHF (dØfaillance cardiaque congestive), depression (dØpression), GERD (reux gastro-oesophagien), gallstones (lithiase biliaire), gout (goutte), hypercholesterolemia (hypercholestØrolØmie), hypertension (hypertension), hypertriglyceridemia (hypertriglycØridØmie), OA (osthØoarthrite), OSA (apnØe obstructive du sommeil), PVD (angiopathie pØriphØrique) et venous insuciency (insusance veineuse).

Termes de la Snomed Internationale. Nous utilisons 108 531 termes provenant de six axes de la Snomed Internationale (SNMI) ( CtØ et al., 1997 ) : Agents et activitØs physiques ( A), Diagnostics (D), Fonction (F ), Morphologie (M ), ProcØdures (P ) et Topographie (T ). Nous n’utilisons pas les autres axes sØmantiques (i.e., Modicateurs ( G), MØtiers (J ), Social (S)), dont les termes nous paraissent moins pertinents pour le codage mØdical. Les termes utilisØs sont enrichis avec leurs synonymes d’UMLS (NLM, 2008) . De plus, chaque terme SNMI est associØ son type sØmantique. Par exemple, decreased thickness et obstructive sleep apnea appartiennent respectivement aux axes M et D et ont les identiants SNMI M-02630 et D9-74310. Nous utilisons cinq niveaux hiØrarchiques des termes SNMI, qui peuvent Œtre dØtectØs grce la convention d’encodage de la hiØrarchie dans les identiants SNMI. Le principe gØnØral est le suivant : plus un terme est gØnØrique plus il a de 0 la n de son identiant. Par exemple, M-02000 est plus gØnØrique que M-02600, qui est plus gØnØrique que M-02630. Le niveau hiØrarchique le plus haut correspond aux axes sØmantiques SNMI ( i.e., M , D, T ). Ainsi, pour decreased thickness M-02630 les niveaux hiØrarchiques sont : M, M-02000, M-02600, M-02630 et M-02630 ; pour obstructive sleep apnea ils sont D, D9-74000, D9-74300, D9-74310 et D9-74310. Dans ces deux exemples, les termes les plus spØciques se positionnent au niveau TSS4, le niveau TSS5 ne peut donc pas Œtre spØciØ davantage.

Noms des mØdicaments. Nous exploitons une liste de 5 716 DCI (dØnomination commune internationale) des mØdicaments. Ils proviennent de la ressource ThØriaque2. Comme pour les termes SNMI, chaque DCI est associØ son information sØmantique : les classes thØrapeutiques dØnies par ThØriaque. Par exemple, Allopurinol est un mØdicament antigoutte. 3

MØthode

PrØ-traitement et indexation des documents

L’objectif du prØ-traitement des comptes-rendus est de les indexer avec les ressources terminologiques. Nous utilisons la plate-forme Ogmios 3 pour : (1) Segmentation des comptes-rendus en mots et phrases ; (2) tiquetage morphosyntaxique et lemmatisation (Schmid, 1994) pour la normalisation syntaxique (rØduction de pluriels et de formes Øchies) ; (3) tiquetage terminologique avec la projection des entitØs des ressources utilisØes ; (4) DØtection des variantes de termes (Jacquemin & Tzoukermann, 1999) : { hernia repair, repair of ventral hernias}, {weight gain, gaining weight} ; (5) DØtection de la nØgation (Chapman et al., 2001). Les Øtapes 2 4 permettent de dØtecter les groupes nominaux, de les normaliser et de les proposer pour l’indexation des documents. En rØsultat, chaque compte-rendu est associØ un ensemble d’entitØs : pathologies du challenge, termes SNMI et DCI.

CatØgorisation des documents

DØnition des descripteurs. Deux types de descripteurs sont utilisØs, ce qui fournit six ensembles de descripteurs :

T : termes SNMI, pathologies du challenge, DCI (n=4 165) TSS : niveaux hiØrarchiques des descripteurs. Nous utilisons cinq niveaux hiØrarchiques pour les termes SNMI et un niveau hiØrarchique pour les DCI. Nous obtenons cinq ensembles de descripteurs TSS1, TSS2, TSS3, TSS4 et TSS5, oø TSS1 est le niveau le plus gØnØrique et TSS5 est le niveau le plus spØcique. Au niveau le plus gØnØrique, nous avons 440 descripteurs. Les valeurs des descripteurs sont : (1) statut des descripteurs ( y contexte positif, n contexte nØgatif, 0 absents) ; ou (2) frØquences des descripteurs pour les contextes positifs et les contextes nØgatifs sØparØment.

Algorithmes d’apprentissage. AprŁs avoir testØ plusieurs algorithmes d’apprentissage supervisØ proposØs par la plate-forme Weka (Witten & Frank, 2005) , nous avons choisi d’utiliser l’algorithme base d’arbres de dØcision REPTree (variante de C4.5 (Quinlan, 1993) ). Pour chaque pathologie, nous avons construit cinq modŁles (ou arbres de dØcision) qui contrastent un type d’annotations avec les autres.

2http://www.theriaque.org 3http://search.cpan.org/~thhamon/Alvis-NLPPlatform/

valuation

L’Øvaluation des rØsultats, savoir si chaque document est assignØ aux bonnes catØgories, est eectuØe par les organisateurs du challenge selon les annotations de rØfØrence de l’ensemble de test. Les mesures d’Øvaluation standard sont utilisØes (R rappel, P prØcision) et la moyenne harmonique F (F-mesure). Ces mesures sont appliquØes en version micro (la moyenne est calculØe au niveau des documents) et macro (la moyenne est calculØe au niveau des catØgories Y , Q, N et U ) (Sebastiani & Ricerche, 2002) . La mesure principale est macro F-mesure globale, qui correspond la moyenne des macro F-mesures de chaque pathologie. Pour chaque couple de rØsultats, nous calculons Øgalement la signicativitØ statistique des rØsultats an de mieux observer l’apport des informations sØmantiques. La distribution de donnØes nous Øtant inconnue, nous utilisons le test de signicativitØ par rØpartition au hasard (Chinchor, 1992) utilisØ dans les compØtitions MUC. Ainsi, aprŁs avoir calculØ la diØrence de rØsultats entre les deux systŁmes comparer, n couples de pseudo-systŁmes (xØ 1000) ont ØtØ gØnØrØs alØatoirement partir des deux systŁmes existants. On compte alors le nombre c de fois que la diØrence entre les deux pseudo-systŁmes d’un mŒme couple est supØrieure la diØrence des deux systŁmes existants. Si le ratio entre le nombre de c et n est infØrieur au seuil de rejet (xØ 0,05) de l’hypothŁse nulle, les deux systŁmes sont alors signicativement diØrents. 4

RØsultats et discussion

Les 507 comptes-rendus de l’ensemble de test ont ØtØ traitØs par la plate-forme Ogmios en 53 min 19 sec (6.3 sec par documents).

RØsultats par pathologie et par catØgorie

Notre systŁme

Moyenne du challenge cart type

MiP 0.92 0.91 0.09

MaP 0.62 0.78 0.17

MiR 0.91 0.90 0.09

MaR 0.61 0.60 0.06

MiF 0.91 0.90 0.09

MaF 0.61 0.60 0.06

La table 1 indique les performances de notre systŁme, la moyenne des rØsultats du challenge et leur Øcart type (ou dispersion autour de la moyenne). La macro Fmesure de notre systŁme, de mŒme que toutes les mesures sauf la macro prØcision, ont des valeurs supØrieures aux moyennes correspondantes. Notons que les macro F-mesures du challenge s’Øtendent entre 0.67 et 0.32 : notre systŁme est trŁs proche de la meilleure valeur.

La gure 1 prØsente les performances de notre systŁme par pathologie, en termes de macro prØcision et de macro rappel. Dans cette reprØsentation, meilleurs sont les rØsultats pour une pathologie donnØe, plus cette pathologie est proche du coin supØrieur droit du graphique. l’analyse de cette gure, nous pouvons distinguer trois zones : 1. zone proche du coin supØrieur droit : la qualitØ de notre systŁme est bonne avec les annotations (pathologies et catØgories). La macro prØcision et le macro rappel sont supØrieurs 0.80. Cela concerne les pathologies : asthme, dØpression, diabŁte, lithiase biliaire, goutte, hypercholestØrolØmie et obØsitØ. 2. zone vers le coin infØrieur droit : la prØcision reste ØlevØe ( > 80 %) mais le rappel diminue (entre 50 % et 70 %). Dans cette zone, nous trouvons : dØfaillance cardiaque congestive, reux gastro-oesophagien, hypertension, hypertriglycØridØmie et insusance veineuse. 3. zone vers le coin infØrieur gauche : les valeurs de la prØcision et du rappel sont entre 50 % et 70 %. Quatre pathologies se trouvent dans cette zone : maladie de l’artŁre coronaire, osthØoarthrite, apnØe obstructive du sommeil et angiopathie pØriphØrique. Elles correspondent aux cas les plus diciles catØgoriser pour notre systŁme.

L’utilisation de termes et de leurs synonymes pour l’indexation des documents nous place dans le cadre d’une approche basØe sur les concepts . Si cela permet de restreindre le champs sØmantique des descripteurs, comparØ une approche base de sacs de mots, et de le rendre ainsi plus prØcis, nous nous trouvons limitØs par la variabilitØ terminologique. Cette limitation peut rØsulter de la couverture partielle des terminologie (Hersh et al., 1994) ou de l’incapacitØ des outils automatiques reconnatre dans les documents les termes des terminologies utilisØes. Dans notre travail, nous avons mis l’accent sur la reconnaissance automatique des variantes de termes. NØanmoins, pour une pathologie comme OSA, nous obtenons un ensemble de descripteurs dØcisionnels assez pauvre ( obstructive sleep apnea, sleep apnea, apnea, OSA, pain). De plus, la variation terminologique ne suit pas toujours des rŁgles prØcises et reproductibles, comme par exemple dans les cas de certaines abrØviations cliniques ( HT N pour hypertension). Mais nous pensons qu’il est possible d’apporter des amØliorations cette fonctionnalitØ de la plate-forme grce l’intØgration d’autres ressources et outils. e Y ecn N frØ Q ØR NR

La table 2 prØsente la matrice de confusion par catØgorie ( Y , N et Q). Les annotations de rØfØrence sont indiquØes en ligne, les annotations eectuØes par notre systŁme sont indiquØes en colonne. Les nombres en gras correspondent aux annotations correctes : 1 846 pour Y , 4 816 pour N et seulement une pour Q. Les autres nombres, lus en colonne, s’ils sont supØrieurs zØro, indiquent les erreurs de notre systŁme. Par exemple, 388 documents reoivent une annotation N et 35 une annotation Q, alors que leur annotation de rØfØrence est Y . De la mŒme maniŁre, 162 annotations Y et 16 Q sont en rØalitØ des annotations N . Cela nous donne une prØcision et un rappel entre 83 et 96 % pour les catØgories Y et N , tandis que pour la catØgorie Q, ils sont infØrieurs 10 %. Rappelons que la catØgorie Q concerne l’annotation des pathologies qui ne sont pas acquises de maniŁre certaine mais probable. Le marquage de la certitude (Hyland, 1995; Fahnestock, 1999) passe souvent par l’utilisation des marqueurs comme certainly, likely, might ou seem dans la littØrature scientique. Un examen des comptes-rendus cliniques ayant des annotations Q montre que la certitude n’est pas exprimØe de la mŒme maniŁre. Par exemple, l’annotation Q des cas de diabŁte semble Œtre justiØe par des phrases en relation avec la nutrition : (1) She also was given nutrition consult who started the calorie counts. (2) Nutrition recommended that she may be need long-term nutritional therapy if she does not meet her nutritional goal. (3) DIET : House / Low chol/low sat. fat Nous pouvons mŒme avoir des phrases de type nondiabetic ... in 1986 sans autre indication sur le cas de diabŁte dans le compte-rendu. Pour les cas d’obØsitØ, nous pouvons avoir des phrases comme (1) claiming that he has been eating like a horse ou (2) The patient denies weight gain or nausea . Comme le montrent ces exemples, les indicateurs du statut Q sont vagues et pauvres dans les comptes-rendus. Leur dØtection peut dicilement reposer sur des marqueurs de certitude utilisØs traditionnellement mais nØcessiterait plutt un raisonnement mØdical n. maP maR maF 100 90 80 70 60 50 40 maP maR maF tss5 nomed

Tclass med tss1 tss2 tss3 tss4 t (a) Impact des mØdicaments

(b) Impact de l’information hiØrarchique

Les mØdicaments (leurs prescriptions, prises, contre-indications, arrŒt, etc.) font partie intØgrante de tout dossier mØdical. Les noms de mØdicaments sont des nomenclatures ou listes, qui peuvent bØnØcier d’une organisation hiØrarchique. Dans la ressource ThØriaque, que nous utilisons, les mØdicaments sont organisØs en classes thØrapeutiques : mØdicaments anti-inammatoires, antigoutteux, digestifs, laxatifs, antiseptiques.

An d’Øtudier l’impact des informations sur les mØdicaments, nous avons comparØ les rØsultats obtenus avec trois expØriences (g. 2(a)) : les descripteurs de pathologies du niveau TSS5 sans les mØdicaments ( nomed), avec les classes thØrapeutiques (T class) et avec les noms de mØdicaments ( med). Nous indiquons les valeurs de macro prØcision, macro rappel et macro F-mesure. Avec l’injection progressive des informations sur les mØdicaments, nous pouvons observer une amØlioration des performances. L’utilisation des classes thØrapeutiques et des noms de mØdicaments apporte respectivement un gain de 1,5 et 4,19 la F-mesure. Ces diØrences sont statistiquement signicatives. L’Øvolution de la prØcision et du rappel suit le mŒme schØma. Notons nØanmoins que la ressource ThØriaque n’est pas exhaustive et que certains mØdicaments, comme coumadin, torsemide ou zaroxolyn, n’y gurent pas. Nous pensons que l’impact des mØdicaments pourrait Œtre plus important si une liste plus complŁte, comme Rxnorm (RxNorm, 2009) , Øtait utilisØe.

Prise en compte des informations hiØrarchiques

An d’Øtudier l’inuence de l’informativitØ des termes, nous observons les annotations obtenues diØrents niveaux hiØrarchiques des termes d’indexation (g. 2(b)). Pour ceci, nous comparons plusieurs ensembles d’annotations obtenues avec l’algorithme REPTree : cinq niveaux hiØrarchiques de la SNMI (TSS1 TSS5) avec les classes thØrapeutiques des mØdicaments, et T (le niveau le plus spØcique de SNMI avec les noms de mØdicaments). La diØrence la plus importante apparat entre les niveaux TSS1 et TSS2, oø le niveau TSS1 est le plus gØnØrique. Une autre amØlioration est observØe entre les niveaux TSS5 et T. Dans ces deux cas, la diØrence est statistiquement signicative. Dans tous les cas, la spØcication de l’annotation est protable aux performances du systŁme. La F-mesure passe par exemple de 49,46 avec TSS1 61,15 avec T. L’Øvolution de la prØcision et du rappel est similaire.

Ces rØsultats conrment les observations de (Stevenson et al., 2008) et (Savova et al., 2008) selon lesquelles les informations linguistiques contribuent fortement l’amØlioration des performances d’un systŁme basØ sur l’exploitation les informations hiØrarchiques d’une terminologie. Nous observons Øgalement que l’ensemble de ces informations hiØrarchiques ne contribuent pas de la mŒme maniŁre : des informations trop gØnØrales dØgradent les performances. Il est donc important de bien sØlectionner les niveaux hiØrarchiques utiliser lors de la catØgorisation des documents. 5

Conclusion et perspectives

Nous avons prØsentØ une expØrience de catØgorisation automatique des documents cliniques en anglais, ØvaluØe selon les donnØes de rØfØrence produites par le challenge i2b2 en 2008. Au travers du traitement de ces donnØes, nous testons plus particuliŁrement l’exploitation des informations sØmantiques et linguistiques (variation des termes, mØdicaments, niveaux hiØrarchiques des termes) et observons que, de maniŁre gØnØrale, la spØcicitØ de ces informations et l’utilisation de ressources complØmentaires montrent une inuence bØnØque. Les performances de notre systŁme sont lØgŁrement supØrieures la moyenne obtenue lors du challenge. Nous envisageons nØanmoins d’amØliorer ces performances et pour ceci nous visons une meilleure dØtection des variantes de termes, une sØlection de descripteurs et l’exploitation de la structure de comptes-rendus. Par ailleurs, l’impact d’autres facteurs, comme la nØgation ou le vote des algorithmes, peut aussi avoir une incidence sur les performances du systŁme.

RØfØrences

Baziz M., Bougha nem M., Pasi G. & Prade H. (2007 ). An information retrieval driven by ontology : from query to document expa nsion. In Proceedings of RIAO 2007 , Pittsburgh, USA.

Chapman W., Bridewell W., Hanbury P., Cooper G. & Buchanan B. (2001).

Evaluation of negation phrases in narrative clinical reports. In Annual Symposium of the American Medical Informatics Association (AMIA) , Washington. Chen R., Garde S., Beale T., Nystrm M., Karlsson D., Klein G. O. & ˜hlfeldt H. (2008). An archetype-based testing framework. In MIE 2008, IOS Press, p. 4016.

Chinchor N. (1992). The statistical signicance of the MUC-4 results. In MUC, p. 3050.

References

CtØ R. A ., Brochu L. & Cabana L. ( 1997 ). SNOMED Internationale RØpertoire d'anatomie pathologique . SecrØtariat francophone international de nomenclature mØ- dicale, Sherbrooke, QuØbec.

Fahnestock J. ( 1999 ). Rhetorical gures in science . Oxford University Press.

Funk M. E. , Reid C. A. & McGoogan L. S. ( 1983 ). Indexing consistency in medline . Bull Med Libr Assoc , 71 ( 2 ), 176183 .

Grau B. , Robba I. , Vilnat A. , Kateb F. E. & Paroubek P. ( 2005 ). De l'importance des synonymes pour la sØlection de passages en question-rØponse . In CORIA , p. 7184 , Grenoble, France.

Hersh W. R. , Hickam D. H. , brian Haynes & McKibbon K. A. ( 1994 ). A performance and failure analysis of SAPHIRE with Medline test collection . JAMIA , 1 ( 1 ), 5160 .

Hyland K. ( 1995 ). The author in the text : Hedging scientic writing . Hong Kong papers inlinguistics and language teaching , 18 , 3342 .

Jacquemin C. & Tzoukermann E. ( 1999 ). NLP for term variant extraction : A synergy of morphology, lexicon, and syntax . In T. Strzalkowski , Ed., Natural Language Processing and Information Retrieval , chapter 2 , p. 2574 . Boston, MA : Kluwer.

Masys D. R. , Welsh J. B. , Fink J. L. , Gribskiov M. , , Klacansky I. & Corbeil J. ( 2001 ). Use of keyword hierarchies to interpret gene expression patterns . Bioinformatics , 17 ( 4 ), 319326 .

NØvØol A. , Mork J. G. & Aronson A. R. ( 2007 ). Automatic indexing of specialized documents : using generic vs. domain specic document representations . In BIONLP 2007 , p. 183190 .

NLM ( 2008 ). UMLS Knowledge Sources Manual . National Library of Medicine , Bethesda, Maryland. www.nlm.nih.gov/research/umls/.

Quinlan J. ( 1993 ). C4 . 5 Programs for Machine Learning . San Mateo, CA : Morgan Kaufmann.

Rader D. & Daugherty A. ( 2008 ). Translating molecular discoveries into new therapies for atherosclerosis . Nature , 451 ( 7181 ), 90413 .

RxNorm ( 2009 ). RxNorm, a standardized nomenclature for clinical drugs . Rapport interne, National Library of Medicine , Bethesda, Maryland. Disponible www.nlm. nih.gov/research/umls/rxnorm/docs/index.html .

Savova G. , Clark C. , Zheng J. , Cohen K. B. , Murphy S. , Wellner B. , Harris D. , Lazo M. , Aberdeen J. , Hu Q. , Chute C. & Hirschman L. ( 2008 ). The Mayo/MITRE System for Discovery of Obesity and Its Comorbidities . In The Second i2b2 Workshop on Challenges in Natural Language Processing for Clinical Data .

Schmid H. ( 1994 ). Probabilistic part-of-speech tagging using decision trees . In Proceedings of the International Conference on New Methods in Language Processing , p. 4449 , Manchester , UK.

Sebastiani F. & Ricerche C. N. D. ( 2002 ). Machine learning in automated text categorization . ACM Computing Surveys , 34 , 147 .

Sibanda T. & Uzuner O. ( 2006 ). Role of local context in de-identication of ungrammatical, fragmented test . In Proceedings of the North American Chapter of Association for Computational Linguistics/Human Language Technology (NAACLHLT 2006 ), New York, USA.

Stevenson M. , Guo Y. , Gaizauskas R. & Martinez D. ( 2008 ). Knowledge sources for word sense disambiguation of biomedical text . In BioNLP 2008 , p. 8087 , Columbus , Ohio, USA.

Witten I. & Frank E. ( 2005 ). Data mining : Practical machine learning tools and techniques . Morgan Kaufmann, San Francisco.