DAMAG Fernando En-to e Abreu INESC _______________________________________________________________________
Um conhecimento detalhado do modelo de dados dos sistemas de informaVo nas organiza6es, tanto ao nine} conceptual como aos n{veis l6gico e fisico, fundamental para perlnitir a sua evoluo.
obviamente, tantO mais dificil quanto menos conhecimento do modelo de dados Se tern. Sem esse conhecimento, pequenas altera5es efectuadas podero tel consequncias imprevisincis, conduZindo ao aumento da dimenso, da redundcia
e da complexidade em geral do sistema.
.Levantamento de Mode|es de Dados em Sistemas Legados estas so inc&Fazes de lidar com
a realidade dos SGBD's legados, Que foram norrnalmente criados sem regras de Domes ou sem declara5es de chaves, entre outros.
Nesta comunicao, apresentamos um mtodo para a recuperao do modelo de dados, born como um caso de estudo aplicado ao Sistema Integrado de Informao do 30 Encontro Nacional para a Qualidade nas Tecnologias de Informa50 Universidade do Minho 4 de Novembro 1998
e ComunicaC8es dos SiStemaS ODde estes no so coDhecidos.
O Sistema Integrado de Informao de Pessoal da Maritma Formesa, doravante designado pox SflP, foi um sistema criado na dcada de 80. icimente este sistema * grande parte dos elementos que estiveram directamente envolvidos no desenvolvimento j no Se encontram na Marinha, tendo-Se perdido muita da informao Quelevou criao do sistema tal como ele se apresenta actualmente; _______________________________________________________________________ 3o Enconbo Nacional para a Qualidade Has Tecnologias de InformaC5o e ComunicaV6es Universidade do Minna 46 de Novembro 1998 3 Levantamento de Modelos de Dados em S2sLemasLegados * rotatividade do pessoal, sem existncia de uma politica de actualizao dos modelos; compulsiva * ngo existirem mecanismos de verificao
da rastreabilidade sincr6nica.
Para inverter esta situao, o levantamento do modelo de dados de extrema importcia. este Que perrnite que os novos elementos possam facilmente emender como o sistema est deenvolvido, sendo um elemento fundamental para qualquer aco de manuteno e/ou evoluo do sistema, de forma a alargar o sen tempo de Vidatitil.
em muitas organiza6es [McClure92]. algo generalizado
A recuperao do modelo de dados parece, primeira vista, uma tarefa pouco complexa e, de certa forma, rapida. A existencia de vas ferramentas de reengenharia no mercado destinadas a este efeito [Furlan94l contribuem para esta forma de pensar. Por6m, a tarefa no 6 to simples. As ferramentas existentes baseiam-se, normalmente, apenas no catlogo da base de dados. De facto, assumem entre outras coisas que no existam hom6nimos (atributos com Domes iguais mas significados diferentes) e sin6nimos (atributos com Domes diferentes e significados iguais) e assumem Que no existem fragrnentaBes de tabelas- Contudo estas situaJes existem na prtica, mostrando-se essas ferramentas inadequadas no tratamento da maioria dos casos reais.
Para a obteno do modelo de dados necessio uma abordagem mais rigorosa e abrangente, na quaJ necesso consultar para al6m do catogo da base de dados, o c6digo fonte das aplica6es que acedem aos dados, os dados e os pr6prios utilizadores. 4 3o Encontro Nac2onal para a Qual2dade nas Tecnologias de Informao Un2versidade do Minke 4-6 de Novembro 1998
e Comunica&es
A metodologia Que agora Se descreve para a recuperao do modelo de dados fundarnenta-se na detec5o de chaves primariasl, chaves estrangeiras2 das tabelas e na ..,. decomposio
do problema inicial em problemas mais simples. ,, pasta forma, a metodologia adoptada seguiu as seguintes fases: 1As chaves primarias so o conjunto de atributos que identificam, de forma exclusiva, cada um dos elementos de uma tabela.
30 Encontro Nacional para a Qualidade nos Tecnologias de InformaVSo e Comunicaes Universidade do Minho 6 de Novembro 1998 5 referentes a cada uma das tabelas como sendo a sua chave primia. Nos cases em que D0 existem Indices tinicos declarados no catogo, a Chane tel de ser identificada por inspeco aos dados ou ao c6digo fonte, onde Se fazem as inserJes dos dados nessas tabelas. No caso de existir mais de um fndice nico declarado no catogo, surgem duas opV;6es.Na primeira, sero Ospr6prios utilizadores a definir a Chane primaria, face ao
Devido grande dimenso dos sistemas, centenas de tabelas e milhares de atributOs, Osmodelos conceptuais Que os representam so lambm complexos e de grande dimenso. Uma forma hem conhecida de abordar os problemas complexos dividir o problema em vOs problemas mais simples (dividir para conquistar). Assim, nesta fase da metodologia aglupam-Se as tabelas por forma a QueSepossa razer o levantamento do modelo de dados das tabelas de cada grupo isoladamente. Muito embora seja necesso uma fase final para agregar os modelos obtidos num tinico e completar as eventuais dependncias entre estes, o problema inicial ficou decomposto numa srie de problemas mais tratveis.
6 3o Encontro Nacional para a Qualidade nas Tecnologias de Informao Universidade do Minho 4-6 de Novembro 1998
e ComunicaSes
A descriGo detalhada dos crit6dos de agruparnento das tabelas que Se 1, apresentamos os grupos obtidos processando as 185 tabelas do SEP. Cada grupo apresentado como uma entidade abstracta ou como uma associao de um modelo abstracto. Os critdos de agrupamento das tabelas asseguram que: * o identificador de uma entidade abstracta a intersecgo das chaves primar:ias das talJelas Quea constituem, Que garantidamente no vazia; a intersecVo das chaves de quaisquer duas tabelas de quaisquer duas entidades abstractas vazia; Os grupos representados como associaJes do modelo abstracto significam que a Chane das suas tabelas cont8m elementos das chaves das entidades Que relacionam.
APresenta-se um exemplo na figura I, onde a entidade abstracta "NII" representa o grupo das tabelas que identificam e descrevem as pessoas. A entidade abstracta "UNIDADE" representa o grupo das tabelas Queidentificam e descrevem as unidades. A associa5o "PERTENCEM" representa todas as tabelas Que relacionam tabelas das pessoas com tabelas das unidades. Este esquema abstracto, para alm de reduzir a complexidade do problema do levantamento do modelo de dados tambm um precioso auxilio compreensao do "Universo do Discurso" do Sl]P. 30 Encontm Nacional para a Qualidade nas Tecnologias de Informao Universidade do Minho 4-6 de Novembro 1998 e ComunicaCSes Levantamenta de Madelas de Dadas em Sistemas Legadas
Figura 1- Esquema abstracto do S11F 2.3. Especificag&o do esquema abracIto
Nesta fase, pretende-Se classificar as diferentes tabelas de cada grupo ou associa5es abstractas em entidades fortes, fracas e associaJes de acordo com a semtica do modelo de dados entidade-associao.
composio dos atributos Queconstituem a Chane primia da tabela [Batini92, Chiang94,
30 Encontro Nacional para a Qualidade nas Tecnologias de Informsa Universidade da Minho 4-5 de Novembro 1998
e Camunicaq;;5es ,qualquer outra Chaneprima
de outra tabela; . * representantes das entidades fracas, as tabelas cuja Chane primia constituida For uma Chane de outra tabela e o(s) restante(s) atributo(s) no contm a Chane de outra tabela; associaV5es, caracterizam'-se pelas suas chaves primias serem compostas pol chaves de pelo monos duas tabelas"
Foi desenvolvida uma aplicago para produzir automaticamente esta classificaVo, recorrendo a um conjunto de interroga6es base de dados. Desta forma, foram obtidas 104 tabelas classificadas como fortes, 67 fracas e 14 associa5es.
A maior dificuldade nesta lase foi emender o significado dos atributos de algumas entidades fracas.
Na figura 2, apresentamos o esquema conceptual obtido pelo levantamento das tabelas que pertencem a entidade abstracta NIT" 3o =_ncontm Nacional para
. ' '
. , Nii_sa
NOS_nliS ncshf Figura 2 - RepresentaSo interns da entidade abstracta , massuas componentes especf5cas Nesta {ase pretende-Se identificar as tabelas com as mesmas chaves primias hem 2.4ldentificao de general!6es
e fragmentaes como constatar as dependncias de incJuso entre elas.
Quando encontramos duas tabelas com a mesma Chane primia interessa conhecer as interdependncias das chanes comuns nos registos entre duas tabelas. ] 3o Encontro Nacional para a Quatidade Has Tecno\iogias de Informsg5o e Comunicai!;:5es Universidade do Minho 6 de Novembro 1998 ,^
Que gera os ensaios necessos de forma a cobrir todos * sobreposio, no caso de existirem chaves comuns nos registos comuns a ambas as tabelas e simultaneamente cada tabela ter registos exclusivos; disjuno, quando a intersecVo das chaves comuns nos registos de ambas as tabelas for vazia; * incluso, quando todas as chaves comuns nos registos de uma tabela esto inclufdas na outra; ' coincidncia
no caso das chaves comuns nos registos de ambas as tabelas serem exactamente as mesmas.
No caso do SIJ]P,foram necessos cerca de 500 ensaios base de dados para validar as depend8ncias de incluso das chaves primas. Como resultados conseguimos identifica:!:duas fragmentaJes verticals e trs generaliza5es.
A figura 3 ilustra o caso de uma fragmentao das tabelas T_Con_Tipcol e T_Con_Coloca- Trata-se de tabelas de converso de c6digos em que verificamos Que alem de terem a mesma Chane prima, ambas as tabelas tinham o mesmo ndmero de registos e cram exactamente os mesmos (coincidentes). Assim, criando uma entidade abstracta, no caso T_Con, poderemos tratar ambas as tabelas como uma s6, a um nfvel mais elevado em que no se discutem implementa6es mas conceitos. De seguida verificamos que todos os registos dessas tabelas estavam incluidos numa outra tabela (T_Codunidade). 3o Encontro Nacional para a Qualidade nas Tecnologias de Inform@o e ComunicaVSes Universidade do Minho 4-6 de Novembro 1998 Levantamento de Modelos de Dodos em Sistemas Legados
T_Con ~...-~.....--~. ~'1'_on_Ilpcoi
Figura 3 - FragmentaSo vertical e subconjunto
mesma Chane prima.
Todas as tabelas fazem refer8ncias a pessoas. A anise das depend8ncias entre os valores das chaves primas destas tabelas mostrou que existia um conjunto de tabelas Que cram disjuntas da tabela de mortos e simultaneamente estavam incluidos numa entidade represent&tin&dos elementos vinos da Marinha. Note-Se Que na figura, as entidades VIVOS, INDIVUOS (a sombre&do) no esto implementadas fisicamente, so apenas conceitos represent&dos como entidades do modelo conceptual. Entretanto as tabelas Idnoso e Nosol, referentes a registos nosol6gicos, incluem registos de elementos vinos e mortos. A unio destas quarto entidades formam o grupo de todos indivjlduos que estiveram ou esto na Marinha.
12 30 Ehcohtro Nacional para a Qualidade has Tecnologias de Informago e Comunicac5es Universidade do Minho
2.5 Detecl;;dodas restantes associaties
Nesta lase pretendemos identificar associa6es atravs de chaves estrangeiras.
Tal como no porno 2, a obten5o de chaves estrangeiras segne as Segnlutes fases: ,i) l1) 111)
geraV:o de hip6teses; 30 Encontro Nacional para a Qualidade nas Tecnologias de Informao Universidade do Minho 4-6 de Novembro 1998
e ComunicaCSes
Ltomento de Modelos de Dodos em Sistemas Legodos
30 Encontro Nacional para a Qualidode nos Tecnologias de InformaC5o e ComunicaV5es Unlversldade do Minho 4-6 de Novembro 1998
Foi desenvolvido um conjunto de queries que ensaiam se uma tabela referencia outra. Assim, se uma tabela contm todos os registos de um atributo Chane de uma outra tabela em que o atributo no pertence Chane, ento existem fortes probabilidades de esta tiItima estar a referenciar a primeira.
Estes ensaios vo elirninar algumas das possIveis chaves estrangeiras obtidas anteriormente.
No caso do SUP, geraram-se cerca de vinte mil ensaios e foram levantadas cerca de quarto mil hip6teses de chaves estrangeiras. Desta hip6teses foram validadas cerca de 150.
Outros mtodos de levantamentos de modelos de dados tm sido publicados na literatura cientifica. Alguns destes so em seguida brevemente descritos. 2.6.1 Utilizao
de padr8es procedimentais na abstrac3o de esquemas re!acionais.
Neste tipo de abordagem proposto em [Signore94], pretende-Se desencadear um processo de reverse engineering atravs da identificao do esquema da base de dados, chaves primias, instru5es SQL, indicadores procedimentais e heuristicas que conduzem reconstruo do esquema conceptual. 30 Encontro NacionaE para a QuaEidade nas TecnoEogiasde Informa(;;;8oe ComunEcaV8es UniversEdade do Minho 46 de Novembro 1998 Levantamento de Mode|Os de Dados em Sistemas Legados de queries por forma a melhorar o reverse engineering de bases de dados.
Nesta abordagem descrita em [Petit94], pretende-Se obter um esquema entidade-associao
estendido (EAE) de uma base de dados relacional partindo de dois
baseia-se em pressupostos verdadeiros (prticos); 16 3o Encontr.
Nadanal
para
Os sistemas legados so uma fonte de preocupaVo para qualquer organizao. Porem, 6 not6ria a consciencializao por parte das organizaBes para a importcia do conhecirnento do modelo de dados como factor de qu&lidadedos sistemas de inform&o, ressaltando o sen contributo para a manuteno, e o desenvolvimento ou melhoria do soare legado, e/ou a rnigrao dos sistemas para outras plataformas tecnol6gicas.
Embora o processo de reverse engineering, seja aquele em que se obt6m um esquema l6gico ou conceptual do sistema a partir do nfvel fIsico atrav6s de ferramentas automatizadas [McClure92], a verdade, Queno possivel automatizar todo o processo. Existem situa6es em que apenas os utilizadores podero indicar como o sistema est a funcionar. A titulo de exemplo considere-se o caso em que existam vas tabelas com a mesma Chane prima. Nesta situaV8o surge o problema da definio de associaJes entre elas. Utilizando ferramentas automatizadas, poder5o ser definidas associaJes erradas. No estado da arte actual, julga-se necesso o apoio de um perito da organizao como Validao das hip6teses formuladas, no aspecto respeitante definio das
O result&do pratico deste projecto foi a obteno do modelo de dados do S. Este result&dofoi alcanado com o suporte de vlas {err&mantasde apoio reengenharia, entre as quais Se destacam o S-Designer [Designer9l] e o DB-Extract. Este Itimo, produzido para o efeito, foi desenvolvido em Visual Basic e produz um ficheiro SQL com informaVo sobre as tabelas, nomeadamente quanto sua classificao, agregados e relacionamentos. O S-Designer, foi utilizado como ferramenta grca, de modo a 30 Enconbo Nacional para a Qualidade nas Tecnologias de Informao Universidade do Minho 4-6 de Novembro 1998 e ComunicaBes Levantamento de Modeios de Dados em Sistemas Legados Ainda
cedo para avaiiar o impacto do trabalho efectuado. Este ainda Se encontra em fase de concluso, mas Osseguintes resultados sero esperados: 3o Encontro Nacional para a Qualidade nas Tecnologias de Informso Universidade do Minho 46 de Novembro :L998
e ComunicaV5es ^ .
A actualizao da documentao, referida no ponto anterior, uma aco incremental e For isso, a alterao dinca dever ser vista como um objectivo futuro.
Todo este trabalho contribuiu para a clarificao da forma como o sistema est a funcionar e pode vir a conduzir a outros desenvolvimentos, nomeadamente a anSe dos atributos no Chane, deteco de redundcias e de atributos derivados e opcionais.
processos que Seespera razer futuramente. ^" .^" 30 Encontro Nacional para a Qualidade masTecnologias de Informao Umiversidade do Minho 4-6 de Novembro 1998 e ComunicaBes 32
20
Carlo Batini, Stefano Ceri, Shamkant B. Navathe, "Conceptual Database
Y, .
, .
clence.
S-DESIGNER, AppModeler for PowerBuilder, Evaluation Version 5.1.0 bit, Sybase Inc., and its subsidiaries, 1991.
[McClure92] Carma McClure, "The Three Rs of Software Automation : Re-engineering, [Petit94l
J-M. Petit, J. Kouloumdjian, J-F. Boulicaut, F. Toumani, "Using Queries to Improve Database Reverse engineering", in Proc. Of the 13~ International Conference on Entity-Relationship Approach, Lecture Notes in Computer
3o Encontro Madame! para a Qualidade nas Tecnologias de Informao Universidade do Minho 4-6 de Novembro 1998 e ComunicaV6es ..^ ,Procedural Patterns in Abstracting Relational Schemata", in Proc. Of the
Pedro Sousa, Lurdes Pedro-de'-Jesus, Fernando Brito e Abreu, "Clustering
Palavras chave: Reverse Engineering, Qualidade, Sistemas Legados, Bases de