Importance de la caractérisation des situations de travail dans l’évaluation de l’impact des Systèmes d’Information en Santé Importance of the work system characterization for impact evaluation of Heath Information Technology Ludivine Watbled1, Sandra Guerlinger1, Marie-Catherine Beuscart1, Stéphanie Bernonville1, Régis Beuscart1, Philippe Massari2, Eric Lepage3, Sylvia Pelayo1 1 CIC-IT 807, CHRU de Lille, France 2 Service d’Informatique Biomédicale, CHU de Rouen & CISMeF, TIBS, LITIS EA 4108, Université de Rouen, France 3 LIMICS, INSERM U1142, Université Paris 13, Université Paris Descartes, France Résumé Les Systèmes d’Information (SI) font partie intégrante des environnements de travail en santé. Il devient donc indispensable de pouvoir évaluer leur impact réel sur les pratiques, la performance et la sécurité. Or, de nombreuses études d’impact de l’informatisation ne sont pas satisfaisantes, les résultats étant très hétérogènes. Le problème est qu’elles ne considèrent pas ou non correctement le système socio technique. Peu d’auteurs décrivent de manière détaillée les tâches réalisées, informatisées ou non, le type de SI mis en place dans l’établissement, et l’organisation (la distribution des tâches entre les acteurs, et le SI). Or, au-delà des performances techniques des SI, la caractérisation détaillée des environnements de travail est essentielle pour assurer une interprétation correcte des résultats des études d’impacts, et ainsi identifier toutes les variables de confusion. Cette étude se focalise sur l’impact d’un SI dans le processus de génération – transmission du courrier de sortie. Le présent papier (i) décrit la méthodologie générale adoptée qui sera mise en place pour identifier les variables de confusion liées aux facteurs humains et (ii) présente quelques résultats préliminaires : une cartographie des Systèmes d’Informations comparant les niveaux d’informatisation selon les établissements, des premiers indicateurs mesurant l’impact du SI, et des éléments de l’analyse de l’activité caractérisant le système socio technique. Les premiers résultats encouragent à poursuivre et à développer cette méthodologie pour l’intégrer dans les études de mesures d’impacts. Abstract Nowadays, Health Information Technology (IS) are closely integrated in healthcare work environments. It becomes therefore essential to be able to evaluate their real impact on practices, performance and safety. Unfortunately, a number of impact studies in the literature are unusable as their results are heterogeneous. The problem is that the socio-technical system is rarely properly considered. Few authors (if any) provide a detailed description of the underlying tasks (whether or not automated.), of the HIT system in use and of the organization of work Articles courts des 15es Journées francophones d’informatique médicale, JFIM 2014, pages 219–228 Fès, Maroc, 12–13 juin 2014 (distribution of tasks between humans and IT, etc.). Indeed beyond the technical performance of SI, the detailed characterization of work systems and work environment is mandatory to ensure a proper interpretation of the results of impact studies and make sure all confusing factors have been identified. This study focuses on the evaluation of the impact of Information Systems on the creation - transmission process of discharge summaries. The present paper (i) describes the methodology adopted to identify confusing variables of Human Factors (HF) nature and (ii) presents preliminary results, e.g. a first mapping of different HIT implementation comparing the level of task automation in different institutions, preliminary indicators measuring the impact of the HIT on the discharge summary process, and elements for the analysis of the corresponding socio-technical system. These early results are promising and encourage further developments of the methodology to be integrated in future impact studies. Mots-clés : Evaluation ; Systèmes d'Information Hospitaliers ; Courrier de sortie ; Facteurs Humains. Keywords: Evaluation ; Hospital Information Systems ; Discharge summary ; Human Factors. 1 Introduction Depuis quelques années, les Systèmes d’Information (SI) font partie intégrante des environnements de travail en santé avec des portails Internet pour les professionnels en santé ou pour les patients, des Systèmes d’Information (SI) destinés à la gestion de l’information médicale (les courriers médicaux, la prescription connectée, le dossier de soins, etc.), etc. Ces SI sont destinés à améliorer la sécurité, l’efficacité des environnements de travail et plus globalement le fonctionnement des organisations de santé. Aujourd’hui, il devient indispensable de pouvoir évaluer l’impact réel de ces SI sur les pratiques des professionnels de santé et sur la qualité des soins délivrés aux patients et sur la performance globale des systèmes de santé eux-mêmes, à travers divers indicateurs. Ainsi, les études évaluant l’impact de l’informatisation de tout ou partie de la génération / transmission du courrier de sortie (« Discharge summary ») s’intéressent le plus souvent à la satisfaction des récipiendaires [1, 2, 3, 4, 5, 6], au délai de génération / réception du courrier par rapport au jour de sortie du patient [2, 4], à la qualité du contenu du courrier au regard d’un certain nombre de critères [7]. Le problème est que les résultats de ces études sont pour le moins très hétérogènes. Si la plupart des études observent un effet positif de l’informatisation sur les délais de génération / transmission des « discharge summaries », avec des délais parfois raccourcis de façon drastique (de 80 jours à 0), les analyses de qualité des courriers sont plus contradictoires. Par exemple, Maslowe et al. (2009) ne montre aucun impact du SI sur la qualité ou satisfaction des usagers [1] alors que 0'Leary et al. (2009) observent un impact significatif sur la satisfaction quant aux courriers de sortie électroniques fréquemment plus complets. [8]. Ces études emploient le plus souvent une méthodologie de type qualitative à base d’enquêtes (questionnaires et/ou interviews) ou d’audit d’experts, sur la base de grilles pré établies d’évaluations de la qualité de contenu des courriers. Mais très peu d’entre elles décrivent le système socio technique considéré. Par exemple, elles ne mentionnent pas le type de logiciel, ni son mode d’intégration au dossier patient électronique, ni le support technique utilisé (ex. : dictaphone filaire, ou mobile). Elles s’attachent encore moins à décrire les tâches, informatisées ou non, à leur distribution entre les acteurs et le système, et plus généralement l’organisation dans laquelle interagissent les acteurs avec le système. Or, l’introduction des SI dans les systèmes de travail a un impact important sur les activités professionnelles : il peut modifier, parfois de façon radicale, les pratiques et les organisations de travail. Les changements suscités vont porter non seulement sur les individus et leurs tâches mais aussi sur la répartition de ces tâches au sein d’une 220 équipe, modifiant parfois les rôles et les fonctions des uns et des autres. A un niveau plus large, les organisations sont aussi impactées. Par exemple, l’introduction de la reconnaissance vocale permettant la génération automatique du courrier sur un logiciel de traitement de texte par la dictée du courrier par le médecin, va profondément modifier le travail du médecin : celui-ci doit obligatoirement se positionner face à un écran d’ordinateur pour réaliser son courrier, contrairement aux pratiques habituelles de dictée qui peuvent se faire en tout lieu (couloir, chambre du patient, etc.). Le travail de la secrétaire médicale est également transformé par la réduction de la tâche de retranscription. C’est pourquoi, la description fine du système socio technique est indispensable dans la mesure où les SI ne peuvent être dissociés de leurs utilisateurs, des activités pour lesquelles ils sont conçus et de leurs contextes d’utilisation, au- delà de leurs performances techniques et informatiques [9]. Ainsi il est nécessaire de décrire et d’analyser le système socio technique dont chaque élément peut être une variable explicative des nombreux résultats hétérogènes des études de mesure d’impact de l’informatisation. Nous proposons ici de définir une démarche méthodologique pour évaluer l’impact de l’informatisation sur tout ou partie du processus de génération / transmission du courrier de sortie. Nous nous focalisons sur les méthodes de caractérisation du système socio technique qui permettront d’identifier les différences existantes selon les organisations, selon les choix techniques, selon les choix d’implémentation, etc. Cette caractérisation du système socio technique permettra (i) d’analyser finement toutes les variables de confusion cachées pouvant expliquer les résultats à première vue hétérogènes reportés dans la littérature et (ii) d’identifier les effets négatifs pouvant minorer les gains observés et pouvant être responsables d’une sous- utilisation ou d’une utilisation détournée des systèmes. Cette recherche s’inscrit dans le cadre plus général d’un projet PREPS (Programme de recherche sur la Performance du Système des Soins), lancé par la Direction Générale de l’Offre des Soins (DGOS) dont l’objectif est l’évaluation de l’impact des Systèmes d'Information sur la qualité des soins, les conditions de travail et l'efficience économique et opérationnelle du système de santé, à la fois dans les établissements de santé mais aussi aux interfaces avec le secteur ambulatoire. L'Agence Nationale d'Appui à la Performance des établissements de santé et médico-sociaux (ANAP) assure le pilotage scientifique du projet et assure le lien entre les besoins opérationnels des établissements de santé et cette production scientifique. L’objectif final du projet est l’élaboration d’un cadre commun de référence pour l'évaluation de la création de valeur des projets par les systèmes d'information de production de soins. Le consortium GRESI (Groupe de Recherche dans le domaine de l’Evaluation des Systèmes), en charge de l’exécution du projet UPRES (« Evaluation de la création de valeur par l’usage des systèmes d’information de production de soins »), est coordonné par l’Assistance Publique – Hôpitaux de Paris et comprend les CHU de Rouen, Nice et Lille (des unités de l'Institut national de la santé et de la recherche médicale (Inserm), le CIC-IT / Evalab du CHRU de Lille), le Centre de Recherche pour l'Etude et l'Observation des Conditions de vie (Credoc), le centre de gestion scientifique de l'École des Mines de Paris. Le projet se focalise sur trois domaines d’application pour élaborer et tester les méthodes : (axe 1) le circuit des examens de biologie et d'imagerie, (axe 2) la génération – transmission des courriers de sortie, et (axe 3) la mise en place du Dossier Patient Informatisé (DPI). La présente étude décrit la démarche méthodologique prenant en compte les situations de travail et plus largement le système socio technique pour étudier l’impact quantitatif et qualitatif d’un SI sur la génération - transmission des courriers de sortie. 221 2 Méthodologie 2.1Méthodologie générale du projet Pour les trois domaines étudiés (circuit de biologie et d’imagerie, la génération – transmission des courriers de sortie et la mise en place du Dossier Patient Informatisé), le projet UPRES se décompose en quatre phases : une phase initiale d’étude des processus et de l’informatisation des circuits étudiés, deux phases de mesures des indicateurs et une phase d’évaluation des impacts de l’informatisation à partir des mesures des indicateurs et de la description des processus des établissements étudiés. Dans ce premier travail qui a débuté en juillet 2013, pour l’étude des circuits de biologie et d’imagerie menée par le CHU de Rouen et pour l’étude du processus de génération – transmission des courriers de sortie menée par le CHRU de Lille, nous nous sommes focalisés sur la première phase du projet, à savoir l’analyse des circuits des établissements de santé, qui permettra de déterminer l’enchaînement des activités et les flux qui les relient. 2.1.1 Description du processus Pour décrire le processus de génération – transmission des courriers de sortie, plusieurs méthodes issues de la psychologie cognitive ergonomique ont été mises en place : - Des entretiens semi dirigés auprès des acteurs concernés : médecins, secrétaires médicales ; - Des observations des tâches impliquées dans la génération et la transmission du courrier pour obtenir les données détaillées des activités des professionnels en interaction avec les systèmes qu’ils utilisent. Ces méthodes ont été appliquées dans 14 services du CHRU de Lille (neurologie, neurochirurgie, médecine interne, traumatologie, cardiologie, médecine gériatrie, psychiatrie, rééducation, médecine et chirurgie pédiatrique, réanimations, endocrinologie, urologie, oncologie), avec une généralisation auprès des CHU de Rouen, Paris, et Nice. 2.1.2 Cartographie des SI A partir de la description du processus, une cartographie des systèmes d’information dont le formaliste a été créé par l’équipe du CHU de Rouen, est utilisée pour l’appliquer au processus de génération – transmission du courrier de sortie. Cette cartographie permet d’établir les différences de niveaux d’information et ainsi de réaliser des comparaisons inter – services et inter établissements. Les éléments décrits dans la cartographie permettent de spécifier le moyen par lequel sera mesuré l’indicateur retenu. 2.1.3 Analyse de la littérature Afin de déterminer les indicateurs qui seront mesurés, une analyse de la littérature et de la règlementation ont été réalisées. L’analyse bibliographique a porté sur les études s’intéressant à l’impact de l’informatisation sur tout ou une partie du processus de production, communication des courriers d'hospitalisation. A partir d’une grille d’analyse, ont été recherchés : le contexte de l’étude, le système de travail, les composants du workflow automatisés, la ou les méthodes utilisées, les variables dépendantes (indicateurs / données collectées) et les résultats de l’étude. 222 L’analyse de la réglementation a essentiellement porté sur les éléments que doit contenir tout courrier de sortie. Ces analyses ont permis de dégager quelques indicateurs qui pourront être utilisés dans la mesure de l’impact du SI. 2.2 Méthodologie spécifique mise en place pour caractériser le système socio technique : l’analyse de l’activité Pour être en mesure de caractériser la situation de travail et plus largement le système socio technique, la méthodologie d’analyse de l’activité du domaine de la psychologie cognitive ergonomique a été utilisée. Ce type d’analyse s’intéresse au professionnel (qui effectue la tâche), à la tâche (ce qui est à faire, un but à atteindre dans des conditions déterminées), à l’activité (ce qui est effectivement réalisé par l’opérateur pour accomplir sa tâche), et au contexte de travail dans lequel le professionnel, son activité et sa tâche vont s’insérer [9, 10]. Analyser une situation de travail c’est aussi décrire les relations entre les professionnels, leurs tâches et les activités mises en œuvre pour les accomplir, le contexte de travail concernant le périmètre, les conditions propres de la situation, et ainsi considérer l’ensemble du contexte organisationnel et socio technique. Les méthodes mises en œuvre pour cette analyse sont l’observation, et l’entretien semi dirigé. Actuellement, un ensemble de travaux montrent l’ampleur que prend la modélisation des processus métier notamment pour les domaines complexes tels que la santé [11, 12, 13]. Au vu de ce constat, nous avons opté pour un travail autour de la modélisation des processus métier afin de faciliter la compréhension et l'analyse de l'activité de génération - transmission des courriers de sortie. Nous avons choisi l'outil BonitaSoft pour mettre en œuvre notre travail. Cet outil est basé sur la notation BPMN (Business Process Modeling Notation) de plus en plus répandue dans le monde industriel. Il est libre d'accès et simple d'utilisation. La représentation obtenue est relativement facile à comprendre pour les non experts. Par ailleurs, il est possible de procéder à des simulations de flux avec l'outil BonitaSoft, ce qui permet de reproduire et d'analyser le comportement d'un système réel ou cible. 3 Résultats 3.1 Description du processus et cartographie des SI A partir des descriptions des processus (cf. Figure 1), il a été effectué entre mai et décembre 2013 une cartographie de l’informatisation des circuits des établissements participant au projet (les quatre CHU de Lille, Nice, Paris et Rouen ; voir Figure 1) qui ont précisé pour chaque étape : - L’informatisation ou la non informatisation ; - Le mode d’informatisation ; - Les flux de données inter-étapes ; - Les données disponibles susceptibles d’être utilisées pour le calcul des indicateurs (dates et heures, connexions, codes des analyses…). Cette cartographie permet d’identifier certaines phases des processus dont le mode ou le niveau d’informatisation est différent dans les établissements et qui par comparaison d’indicateurs pourront permettre de mesurer l’impact de l’informatisation. 223 CHRU Lille : un exemple de circuit CHU Rouen : un exemple de circuit avec logiciel de dictée numérique, non pour des Comptes-rendus de séjour intégré au SI "courts" Etape 1 Identification patient X-Identité scannée depuis une étiquette I-Identité récupérée par le dicteur en patient sélectionnant le patient depuis le dossier patient Commentaires libres Etape 2 Recueil d'informations I-Depuis le dossier électronique du I-Depuis le dossier électronique du nécessairesà la dictée patient et le dossier papier et la visite patient et le dossier papier et la visite Commentaires libres Etape 3 Réalisation du courrier I-Dans le logiciel de dictée numérique I-Dans le dossier électronique patient dictinct du dossier patient Commentaires libres Etape 4 Transmission de la dictée I-Transmis après avoir branché le A-Autre au secrétariat dictaphone à un ordinateur ou socle dédié Commentaires libres Pas de passage par le secrétariat Etape 5 Lecture / correction par M-Lecture, correction sur impression I-Lecture, correction sur écran le dicteur papier Commentaires libres Etape 6 Validation / signature M-Signature manuscrite sur exemplaire X-Aucune validation par le dicteur papier Commentaires libres Etape 7 Envoi / partage du M-Envoi par la poste A-Autre courrier Commentaires libres Figure 1 : Cartographie (partielle) du circuit de génération et transmission des courriers de sortie aux CHU de Lille et de Rouen. 3.2Analyse de la littérature Pour les courriers de sortie, les variables d'évaluation les plus couramment retrouvées dans la littérature [1, 2, 3, 7, 8, 14, 15, 16, 17, 18, 19, 20, 21] appartiennent aux catégories suivantes : (a) les indicateurs temporels (délais d’envoi), (b) les indicateurs de qualité de courrier, (c) la satisfaction des professionnels et du patient. Ces premiers indicateurs ont été retenus pour mesurer l’impact du SI sur la génération et la transmission des courriers de sortie. D’autres indicateurs viendront probablement enrichir cette liste, mais cela nous permet déjà de regarder en quoi les caractéristiques de la situation de travail ont un impact sur l’informatisation des circuits de génération et de transmission des courriers de sortie. 224 3.3Analyse de l’activité Pour l’indicateur retenu « délai d’envoi », outre le fait de regarder le niveau d’informatisation pouvant expliquer les mesures, en analysant le circuit réalisé entre la génération du courrier et l’envoi (cf. Figure 2), on observe que des composantes de la situation de travail peuvent avoir des impacts sur le délai. En effet, suivant les services, le nombre d’acteurs intervenant dans le processus peut être plus ou moins important. Par exemple, dans un service donné, pour un courrier de sortie, un seul médecin va relire, apporter des corrections et signer le courrier qui pourra alors être envoyé. Pour un autre service, toujours pour un courrier de sortie, plusieurs médecins (deux à quatre) vont relire, apporter des corrections et signer le courrier qui pourra alors être envoyé : dans ce cas de figure, la procédure s’allonge considérablement en temps et en nombre de tâches tant pour le rôle médecin que pour le rôle secrétaire qui devra prendre en compte toutes les corrections des médecins intervenant sur le courrier. Ces deux situations de travail sont des variables explicatives des délais d’envoi recueillis (informatisé partiellement ou totalement). Dans les études d’impact, ces variables ne sont ni prises en compte, ni contrôlées alors qu’elles peuvent expliquer un allongement du délai d’envoi dans les mesures pour la situation informatisée ou pour la situation non informatisée. Cet exemple de l’activité démontre la nécessité de décrire et d’analyser le système socio technique dont chaque élément peut être une variable explicative des mesures d’impacts. Cette analyse du système socio technique permettra d’identifier si l’impact est réellement induit par le SI ou par l’organisation. Ainsi, il s’agira d’instancier un modèle de l’activité. Cette méthode, largement utilisée en psychologie cognitive, permet de caractériser les différentes situations de travail selon quelques déterminants qui peuvent avoir une incidence sur les indicateurs, dont l’informatisation de tout ou une partie des tâches. Ceci permet d’analyser les variations dans les indicateurs non seulement de façon globale (ex. : situation informatisée, situation non informatisée) mais aussi en considérant chaque déterminant pris isolément et leurs combinaisons. Figure 2 : Description du circuit entre la génération du courrier de sortie et l’envoi. 4 Discussion Nous avons présenté dans ce papier la première phase du projet UPRES. Les premiers résultats montrent que la méthodologie utilisée permet la description du processus (avec l’exemple du 225 processus de génération – transmission des courriers de sortie), et la comparaison des niveaux et mode d’informatisation entre les établissements de santé. L’analyse de littérature permet de retenir des premiers indicateurs pour évaluer l’impact de l’informatisation : (a) les indicateurs temporels (b) les indicateurs de qualité, (c) la satisfaction des professionnels et du patient. Les experts en facteurs humains ont proposé d’intégrer une méthodologie d’analyse de l’activité pour caractériser le système socio technique dont chaque élément qui le compose pourrait être une variable explicative des résultats de mesure d’impact de l’informatisation. Les premiers résultats mettent en évidence que suivant les services de soins et leur organisation, le nombre de tâches par acteur varient fortement, indépendamment de l’informatisation. Il semble alors nécessaire d’inclure cette démarche méthodologique dans l’évaluation de l’impact de l’informatisation. Dans les recherches à venir, il s’agira de prendre en compte le système socio technique en considérant également la politique de l’établissement de santé (ex. : mode de déploiement du SI), et ainsi considérer l’ensemble du contexte organisationnel et socio technique comme défini dans l’approche macro ergonomique [22]. La démarche globale, proposée dans le projet UPRES, devra fournir, aux établissements de santé un cadre commun permettant d’évaluer l’impact du SI. Pour des questions de faisabilité, il s’agira de trouver le moyen de recueillir les données quantitatives et qualitatives par différents types de profils de professionnels (les ingénieurs qualité, les DSI, les professionnels de santé) qui seront amenés à réaliser ce recueil. Ce point clé est un réel verrou méthodologique pour ce qui concerne la méthodologie d’analyse de l’activité qui devra permettre d’identifier les éléments du système socio technique à recueillir dans les établissements de santé. Il s’agira plus particulièrement de vérifier si ce recueil pourra être réalisé par des non experts en Facteurs Humains, en proposant des outils méthodologiques faciles d’utilisation, non chronophages en temps et en ressources humaines et fournissant les éléments nécessaires au recueil des informations pour éviter les biais d’interprétation. Remerciements Ce projet UPRES est financé par la Direction Générale de l’Offre des Soins (DGOS) et l'Agence Nationale d'Appui à la Performance des établissements de santé et médico-sociaux (ANAP) dans le cadre du PREPS 2012. Références [1] Maslove DM, Leiter RE, Griesman J, Arnott C, Mourad O, Chow CM, Bell CM. Electronic versus dictated hospital discharge summaries: a randomized controlled trial. J Gen Intern Med. 2009 Sep;24(9):995-1001 [2] Alderton M, Callen J. Are general practitioners satisfied with electronic discharge summaries? HIM J. 2007;36(1):7-12. [3] Bürkle T, Engel PA. When usage and user satisfaction differ: the case of an electronic discharge summary. Stud Health Technol Inform. 2007;129(Pt 2):1093-7. [4] Van Walraven C, Laupacis A, Seth R, Wells G. Dictated versus database-generated discharge summaries: a randomized clinical trial. CMAJ. 1999 Feb 9;160(3):319-26. 226 [5] Archbold RA, Laji K, Suliman A, Ranjadayalan K, Hemingway H, Timmis AD. Evaluation of a computer-generated discharge summary for patients with acute coronary syndromes. Br J Gen Pract. 1998 Apr;48(429):1163-4. [6] Stainkey L, Pain T, McNichol M, Hack J, Roberts L. Matched comparison of GP and consultant rating of electronic discharge summaries. HIM J. 2010;39(3):7-15. [7] Callen JL, Alderton M, McIntosh J. Evaluation of electronic discharge summaries: a comparison of documentation in electronic and handwritten discharge summaries. Int J Med Inform. 2008 Sep; 77(9):613-20. [8] O'Leary KJ, Liebovitz DM, Feinglass J, Liss DT, Evans DB, Kulkarni N, Landler MP, Baker DW. Creating a better discharge summary: improvement in quality and timeliness using an electronic discharge summary. J Hosp Med. 2009 Apr;4(4):219-25. [9] Chaudet H., Anceaux F., Beuscart MC., Pelayo S., Pellegrin L. Facteurs humains et ergonomie en informatique médicale. In Informatique médicale, e-santé, fondements et applications 2013 : 495-520. [10] Leplat J, 1993, l’analyse du travail en psychologie ergonomique. Tome 1. Toulouse, Octarès. [11] Garcia Rojo M., Rolon E., Calahorra L., Oscar Garcia F., Paloma Sanchez R., Ruiz F., Ballester N., Armenteros M., Rodriguez T., Martin Espartero R. (2008). Implementation of the Business Process Modeling Notation, (BPMN) in the modeling of anatomic pathology processes, Diagnostic Pathology, vol. 3(Suppl I). [12] Ruiz F., Garcia F., Calahorra L., Llorente C., Goncalves L., Daniel C., Blobel B. (2012). Business Process Modeling in Healthcare, Studies in Health Technology and Informatics, vol. 179, p. 75-87. [13] Jun G. T., Ward J., Morris Z., Clarkson J. (2009). Healthcare process modeling : Which method when?, International Journal for Quality in Healthcare, vol. 21, n°3, p. 214-224. [14] Frimpong JA, Jackson BE, Stewart LM, Singh KP, Rivers PA, Bae S. Health information technology capacity at federally qualified health centers: a mechanism for improving quality of care. BMC Health Serv Res. 2013 Jan 31; 13:35. [15] Liaw ST, Chen HY, Maneze D, Taggart J, Dennis S, Vagholkar S, Bunker J. Health reform: is routinely collected electronic information fit for purpose? Emerg Med Australas. 2012 Feb;24(1):57-63. [16] Callen J, McIntosh J, Li J. Accuracy of medication documentation in hospital discharge summaries: A retrospective analysis of medication transcription errors in manual and electronic discharge summaries. Int J Med Inform. 2010 Jan;79(1):58-64. [17] Brankline AL, Coyle CM, Jencks KA, Mullegama A, O'Brien MW. Practical innovations: technology- assisted referrals. Soc Work Health Care. 2009;48(8):768-76 [18] Stetson PD, Morrison FP, Bakken S, Johnson SB; eNote Research Team. Preliminary development of the physician documentation quality instrument. J Am Med Inform Assoc. 2008 Jul-Aug;15(4):534-41. [19] Navas H, Osornio AL, Baum A, Gomez A, Luna D, de Quiros FG. Creation and evaluation of a terminology server for the interactive coding of discharge summaries. Stud Health Technol Inform. 2007;129(Pt 1):650-4. [20] Kirby J, Barker B, Fernando DJ, Jose M, Curtis C, Goodchild A, Dickens C, Olla E, Cooke R, Idris I, Thomson GA. A prospective case control study of the benefits of electronic discharge summaries. J Telemed Telecare. 2006;12 Suppl 1:20-1. [21] Devine EG, Gaehde SA, Curtis AC. Comparative evaluation of three continuous speech recognition software packages in the generation of medical reports. J Am Med Inform Assoc. 2000 Sep-Oct; 7(5):462-8. [22] Carayon P, In Human Factors and Ergonomics in Health Care and Patient Safety 2012: 3 - 16 227 Adresse de correspondance Ludivine Watbled CIC-IT Biocapteurs et e-santé, Innovations et usages / EVALAB, CHRU Lille Maison Régionale de la Recherche Clinique 6 rue du Professeur Laguesse 59045 LILLE Cedex Courriel : ludivine.watbled@chru-lille.fr 228