<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>OrganizaBes e Iniciativas Nacionais e Internaciffnais em Pml da Qualidade no Software</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Fernando Brito e Abran</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>INESCRSEG Ant</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>nio Pins</string-name>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Instituw de Informdtica</string-name>
        </contrib>
      </contrib-group>
      <fpage>3</fpage>
      <lpage>20</lpage>
      <abstract>
        <p>SUMARIO: Pretende-se traar neste artigo uma parlorica geral sobre as institui6es e correspondentes actividades que, nos foruns nacional e internacional, m contribufdo de forma relevante na ea da qualidade em projectos de desenvolvimento de software, com especial nfase para aquelas envolvidas nos processos de normaliza&amp;o, certificako e acreditaVko. 1.Introduo A manterem-se as tend8ncias actuals, a maioria da popula&amp;o activa estara, num futuro breve envolvida directa ou indirectamente nos processos de desenvolvimento e manuteno de softwarel . Contudo o panorama actual desta ea 6 caracterizado por custos e prazos incorrectamente estimados, ma qualidade dos produtos finals e por uma taxa de crescimento global da produtividade que d inferior a da procura razko pela qual e habitual falar-se da "crise de software`.. 0 Department of Trade and Indus do Reino Unido, por exemplo, estima Que no sen pats se desperdicem anualrflente cerca de 500 milfl6es de libras (aproximadamente 110 rnIIh6es de contos) devido A md qualidade da produ20 de software. Aflrrna ainda Que asses custos se situaffl em cerca de 20% do volume de neg6cios para uma empresa dedicada ao desenvolvimento de software, podendo 25 a 50% dessas perdas ser recuperadas &amp;trunksda implementago de um sistema de Besnio da qualidade [2]. Assim sendo, para uma empress com um volume de facturaVo de 200 mil contos a poupana situar-se-ia nos 10 a 20 mu contos annals.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>referidas algumas instimi6es que t8m. noutros forums,contribufdo para essa qualidade, hem
come alguns encontros que Em lennido Osespecialistas nesta area. Para fmalizar,
mencionam-se alguns guias disporuneis para a construAo de manuals de quaUdade no software e
inseriu-se uma lista no exaustiva das normas relevantes. Antes das refer6ncias, ainda
inclufda uma tabela de acr6nimos, o abundantes nests ea, pol forma a n&amp;osobrecarregar o
texto principal com as designaJes estendidas, geralmente conhecidas pelos interessados
nesta ea
2. A t6nica na QuaBdade
A actividade nacional relativa a Qualidade em TI tern-se inserido fundamentalmente no
bito do Sistema Portugu8s da Qualidade (SPQ) e do seu 6rg&amp;o executor, o Instituto
Portugu8s da Qualidade (IPQ), hem como masacV6esque a Associako Portuguesa de Qualidade
(APQ) tern desenvolvido, nomeadamente atrav6s da realizao de encontros dedicados
Qualidade no Solare. Algumas acJes de forma&amp;o especificas m tamb6m sido
realimdas nesta ea, como pol exemplo no
ETECAStre-sglandes eas do SPQ, Metrologia Normalizao e Qualiflca&amp;02,
encontram-seasseguradaspol divergesorganiza6es pdblicas e privadascom as quais o IPQ estabeleceu
acordosou acreditou(reconheceu) Valencias.Temos assim Oslaborat6riosde Metrologiae
Ensaio que, pol exemplo, asseguramos aspectos relacionadoscom a calibragemda
instrumenta50 utilizatIa,Os Organismos de NormalizaKOSectorial (ONS) Que coordenam e
acompanhamtoda a actividadenormadvanacionale intemacionale os Organismosde
CertificaAo
Sectorial(OCS)A nfvel govemamental, e para al6m das refencias no programa do Govemo, foi publicada
a Resolu8o no 17/93(DR. no 64 de 17-3-93 Sdrie S), que Verncolocar 8nfase na Qualidade
ao decidir apolar e desenvolver todas as iniciadvas que levem Asensibiliza5o e alter&amp;VAdoa
cultura empresarial e dos servios pdbUcos, no sentido da modemiza50 e de melhor
responder aos desafios do mercado intemo europeu e aos desejos dos consumidores e uti
doles.</p>
      <p>A t6nica na QuaUdadena oferta de produtose serviOs tern side um dos vectores
fundamentalsparaa concretiza5o do MercadoIntemo, pelo que a Comiss&amp;oEuroPeia(CE) Ihe
tern dedicado particularaten5o, fmanciandoprojectosque em Portugal Se
consubstanciaramno SIQPEDIP(Sistemade IncentivesAQuaiidade)- Programa6 e, maisrecentemente,
na a de certificao e metrologia o programaPmSMA. Prove-se, pol exemPlo,Queo
PEDIP U ird incrementalos diversos aspectos da Qualidade nas empresas, fmanciando
projectosnesta ea
A rune! internacional, em particular na Europa todas as organizaJes Congneres do IPQ
(Organismos Europeus de Normalizao e Certifica5o) m divulgado e incrementado a
preocupaAo pela QuaUdade dos serviOs e produtos Queas empresas e organismos
Pdbhcos p6em A disposiAo dos sens enemies. A CE, em consoncia com esses organismos,
tern estabelecido e fmanciado projectos de normas e procedimentos de forma a uma
harmoniza&amp;o e mdtuo reconhecimento nos diversos estados
membrosTern ainda a CE fmanciado e coordenado programas Que m em vista auxiliar e definir
reBrase procedimentos a adoptar por todas as administras pdblicas dos estados membros
masaquisis de produtos e serviOs na ea das Tfs. SROexemplo desta preocupa50 as
directivas comunias sobre processos de aquisiV&amp;ode equipamento informdtico, de
telecomunicas e de hens e serviOs, born como o program&amp; PPG com Os subProgramas,
EPHOS e EUROTHOD.
3. NormaBzao</p>
    </sec>
    <sec id="sec-2">
      <title>3.1 Organismas Internacienais</title>
      <p>Os organismos envolvidos na gera8o e promulga5o de normas s8o de bito variado:
intemacionais, inter-governamentais, nacionais, sectoriais ou militates, entre outros. A figura
I pretende representar esta profusAo.</p>
      <p>\ Orgonismos
I de Normalizocdo
I Sectoriais
\1
II
II</p>
      <p>Organismos
Inter-GDvernomentois
Orgonismos de
Representa(;:ao
dos Fabricantes
| Organismos
| Internacionois</p>
      <p>Orgonismos Militares
Na ea da Engenhariade Software, as normasmais conhecidasSAD provenientesde
instituiJes como a ISO, o IEC, o CEN/CENELEC,,oIEEE, o DODe a NATO. Paz-se, em
seguida refer8nciaa algumasdelas.</p>
      <p>ISO
Esta organizako, em conjunto com a IEC, concentra e tents harmonizar Os esforOs de
todos os ONNs. Esse esfoo traduz-Se na public&amp;50 e divulgao de normas 1503.
A actividade de normalizao da ISO, por exemplo, 6 desenvolvida no seio de Comit6s
T6cnicos, onde tOdos Ospalses podem ter representantes, como membros permanentes ou
como observadores. Um desses comit6s, o ITC I, 6 dedicado TITS, enquadrando eas
o diversas como, entre outras, a codificao de informao, computao grca
lingua&amp;ensde program&amp;o, microprocessadores, sistemas de armazenamento magneticos e
6pticos e a interconectividade entre equipamentos de processamento de inform&amp;&amp;o.Cada uma
destas estd agrupada num Subcomit6. Um deles, o SC7, 6 dedicado precisamente a
Engenharia de Software. A Snfase Que tern sido posta na qualidade do software, tern
precisamente a var com a engenharia do processo de desenvolvimento de software, razko pela quaI
interessa acompanhar a actividade dos Grupos de Trabalho existentes no bito do SC7.
Estes sAo:
.
.
.</p>
      <p>WG2 ("Software System Documentation") - 6 coordenado pelo BSI e 6 dedicado
revisdo e ao desenvolvimento de normas relativas a documenta8o de sistemas de
software.</p>
      <p>WG4 ("Tools and Environment") - 6 coordenado pelo SCC e 6 dedicado ao
desenvolvimento de normas e relat6rios t6cnicos relativos a avalia50, seleco e adopo de
ferramentas CASE.</p>
      <p>WG6 ("Evaluation and Metrics.) - 6 coordenado pelo HSC e 6 dedicado ao
desenvolvimento de normas e relat6rios t6cnicos relativos avaligo de produtos e mktricas
para produtos e processos de desenvolvimento de software. Entre outros, tern um
projecto dedicado a Analise por Pontos de FunBo.</p>
      <p>WG7 ("Life Cycle Management.) - 6 coordenado pela ANSI e 6 dedicado ao
desenvolvimento de normas e relat6rios t6cmcos relativos A geso do ciclo de Vidado
desenvolvimento de software, envolvendo temas desde a protOtipagemat6 manutendo.
WG8 ("Support of Life Cycle Processes") - 6 coordenado pela ANSI e 6 dedicado
ao desenvolvimento de normas e relat6rios t6cnicos relativos aos processos de gaso
do ciclo de vida do desenvolvimento de softwam, envolvendo temas desde a gaso de
configuraJes, verificaAo e Valida&amp;o ou revis6es formais e auditorias.</p>
      <p>WG9 ("Classi6cadon and Mapping") - 6 coordenado taml:)6mpela ANSI e d
dedicado ao desenvolvimento de normas, relat6rios teenicos e outros documentos relativos
Aclassifica&amp;o, mapeamento e taxonomia das normas pertinentes A Engenharia de
Software.</p>
      <p>WGIO cs Process Assessment") - 6 coordenado pelo BSI e 6 dedicado ao
desenvolnimento de normas e guias cobrindo m6todos, prdticas e aplica5o de mecanismos de
avaliaAo do processo de desenvolvirnento, entrega, operao, evolu&amp;o e outros
serviVosde apoio relacionados; encorpora a iniciativa SPICE.</p>
      <p>WGll ("Data Definition'.) - 6 coordenado pela ANSI e 6 dedicado ao
desenvolvimento de normas e relat6rios teenicos relativos a defmio dos dados utilizados e
produzidos por processos de engenharia de software, estabelecimento de represent&amp;Jes
para a cOmunicao quer de seres humanos, quer de mAquinas,e defmiAo de formatos
para troca de dados.</p>
    </sec>
    <sec id="sec-3">
      <title>NNIICCEIN\ELEc</title>
      <p>E um organismo onde eso representadas as associaJes nacionais de
normalizaCkoeuropeias. O seu objecdvo 6 o de promover a criaAo de normas europeias (EN), em particular
pol adaptao de normas intemacionais (ISO). A serie de normas 1509000, pol exemplo,
foi adoptada sem altera6es, vindo a constituir a serie de normas europeias EN29000.</p>
    </sec>
    <sec id="sec-4">
      <title>3.2 Organismos Nacionau'</title>
      <p>Em Portugal, o organismo de normalizao nacional CONN)d o Instituto PortuguSs da
Qualidade (IPQ), Que funciona sob a tutela do MinisTedo da IndOstria e Energia, e cujos
principais objectivos 58oa organizago e dinamizago das actividades de normaliZa50, quer
directa quer indirectamente, atravds de organismos de normali7aV5osectoris (ONS), hem
como a divulgago nadonal de normas e outros documentos nadonais ou intemacionais
relevantes.</p>
      <p>Eminfcio de 1993 existiamem PortugalCeresde 40 ONS acdvos masmaisdiversasareas de
actividade[5]. Competeaos ONS, em consoncia com o IPQ, a organizao e
dinarnlZago das actividades de normali7ago nacionms,asseguraro funcionamentoprodutivo das
Comisss Tmicas (CTs) sob sua coordenaSo (var figura2). divulgarprojectos de
normas e documenta50 relevantejunto das CTs e entidadesinteressadas,elaboraro piano de
normalizago sectorial, assegurara proposta elaborago, revisko e aprova50 de Normas
Portuguesas,hem como acompanbare participarnos organismosinmacion e g
o voto ponuguSs. Ess abos $50 efecmados pelos vog d s, em esei hgaKO
com a ISQC ou o orgiz6es maci_o_ is@dpcaw com
r.2.2 Actividao e coor&lt; 'epnnna(c</p>
      <p>,e/lo [Instit, o de |O).m611-cc
O Organismode Normalizao Sectorial (ONS) no domihiodos "Computadorese
Tratamemo da Inform&amp;&amp;o"d o Institutode Informddcado Minisrio dasFinnas CID,desde 30
de Setembro de 1987, conform&amp;protocolo entj5ocelebradocom o IPQ, nos termos do
Decrew-lei no 183/81, de 12 de Julho. A actividadenorm&amp;tinsnacionalna i1readas
Tecnolo* CT 107 - TelecomunicaJes e ComunicaAo da Inform&amp;&amp;o</p>
      <p>ea de actua5o: aprecia5o e votao de documentos oriundos da ISO/IEC JTCI SC 6 e
CEN/CENELEC; acompanhamento e apreciago de documentos EWOS EGLL;
*, CT 108 - Recupem&amp;o, TrsferSncia e Gaso da</p>
      <p>ea: aprecia&amp;o e vota&amp;o de dumentos oundos
CEN/CELEC;
oa20 Segundo o Modelo OSI
da ISOC CI SC 21 e
o CT 109 - Computao Grafica</p>
      <p>ea de actuaAo: apreciaAo e vota&amp;o de documentos oriundos da ISO/IEC JTCI SC 21
e CEN/CENELEC;
o. CT 110 - Meios Electr6nicosde Pagamento
Area de actuao: apreciago e votaAo de documentos oriundosda ISO/IECITCl SC 17,
TC 68 e CEN/CENELEC;assegurara representago Portuguesanos trabalhosnormadvos
no bito da ONL sobreEDI, EDIFACT(MD4-B) e WG 10 do TC 224 -
PaymentSpecifications for FinantialTransactionsICCApplicationsdo CEN;
*, CT I 13 - TerminologiaInformtica
Area de actua&amp;o: aprecia&amp;o, votao e traduio de documentosoriundos da ISO/IEC
JTCI SC I e produC&amp;eoreviso de NorrnasPortuguesas;
* CT120 - Codificako Imagem,Audio e Informao Multimedia
Area de actuaAo: apreciaAo, vota&amp;o e tradu5o de documentosoriundos da ISO/IEC
JTCI SC29 WGll.</p>
      <p>Participamdirectamentenos trabalhosdestas CTs 124 vogais (incZuindoalguns Suplentes),
representandoorganizaJes privadas(56) e pdblicas(). Apesar do cardctervoluntarism
da actividadenormativae da dificuldadeQueas organi6es m em considereros custos a
suportar,com a participaAode elementos sens na actividadenormav como Wvesento
recupervel a cuo e a mdio prazo, o abo d s oen fed m sido
postno e empeado no esmdo, acompauto e vota20 dos documentosnomadvos,
oundos dos Orgsmos de NozaBo Inmacion
Considerando o aspecto particular da produko de Software, o acompanhamento e a
participako das empresas portuguesas na actividade normativa na ea de Engenharia de
Software (oriunda do Subcomite 7 da ISO/IEC ITCl), tern sido quase nula
Tendo em consider&amp;o que o conhecimento e adoko de normas 6 fundamental para quern
quer tel uma post80 competitiva no Mercado Intemo, urge alterar este estado de coisas,
incentivando e apoiando os esforos em curso para a constituiAo de um Comiss&amp;oTnica
na area da Engenharia de Software.
A APQ coordena a actividade de uma Comisso Tcnica dedicada ix Qualidade, CT8O
(Geso da Qualidadee Garantiada Qualidade),no bitoda qual existem
variassubcomiss6es:
. SCI - Sistemas de Qualidade
. SC2 - Tecnologias de Apoio
* SC3 - Qualificao
. SC4 - Metodos Estatfsticos
NO Srnbitoda CT8Oesteve activo um gmpo de trabalhosobre a Qualidadeno Software
(GT 2.1), Queprocedeua traduAo da normaIS09O00.-3[6].
4. Cer6fxcao
4.1 Introduf-ao
0 conjuntode normas1509000 / EN290OOconsdtui um enquadramenwdereferEnciapara
st'Sten.!adse qualidade, embora estes tenham de ser adaptados a cada organizao. Do
ponto de vista dos clientes, a credibilidadedesses sistemas$6 Setorna visfvel se forem
certificadospor umaentidadeindependente,pois isso provaque eles obedecem a um
determinado conjunto de requisitos considerado fundamental,A organizaV&amp;ocertiflcadoratern
obviamenteque ter credibilidadeno mercado,na areade &amp;ctividadem causa</p>
    </sec>
    <sec id="sec-5">
      <title>4.2 Organismos Internacionais</title>
      <p>EQTC fEqrgpggh Qrganl.tiO h fOr Te$ting gnd CqrtifiCgll.gh)_
Em Abrilde 1990fol assinadoum memorandoentrea CE, EA e CEN/CENELECparaa
cn'ago da EOTC com os objectivosde:
* encorajar,incrementare gerir o desenvolvimentode sistemas de certiflcago europeus e
deacordos de reconhecimentomGtuode certiflcadose relat6dos de avail&amp;o, com base
em princfpiose processos coerentesque atrair-aoa confiana de todos os
parceirosinteressados;
* fomecer o enquadramentoneceso paraas quests de conformidadede avalias;
. dar apoio t6cnico no trabalholegislativo a produzirpela CE e pelos pafses da Ep`.1`A
nesta area;
* fomecer informsgo e trocade experi6ncias.</p>
      <p>F(ITC
f urQpCan</p>
      <p>CQmminee
[Or InfOrmatiO n</p>
      <p>TeChnOlOgy</p>
      <p>TeStin g and</p>
      <sec id="sec-5-1">
        <title>Certz.flcOtion)_</title>
        <p>No tocante ao sector das Tl foi criado o ECITC. Este comitd estd Ugado ao ROTC e
constitufdo por representantes dos organismos de normalizaho nacionais europeus e das
administraV6esdos operadores de telecomunica6es. 0 objectivo do ECITC o de garantir
que os acordos de reconhecimento entre organismos de certiflca20 e os processos de
acredita&amp;oe harmonizaAo lecnica cumpramcom um conjunto de requisitos,por form&amp;a
QuehajatransparEnciea credibilidadeem todasestas actividades.</p>
        <p>EQ&gt;&lt;)lL7&lt;l:brO9"2Q#9G4illy SyStem^SSe3Zmenl and CerluiCglfO h COmm Llreg)._
Para garantir a coordenao no tocante a splica&amp;o uniforme, em todos os sectores da
inddstria, do conjunto de normas EN29000, foi criado um outro comi1d, no seio do ROTC,
design&amp;dopor EQS .</p>
        <p>
          Tl.CkIT
E' uma iniciadva do Depart&amp;vent of Trade and Industry (DTI) do Reino Unido, com
participa8o da British Computer Society (BCS), Ianada no infcio desta ddcada. Os pontos de
partida para tal iniciativa result&amp;ramda constata&amp;O de que:
* todas as norrnasem uso paraSistemas de Gest&amp;ode Qualidade(SG cram, no geral,
muitosimilarese Queo melhor caminhoparaa harmonizaADeraatravs daISO 9001;
* cramneceas medidas paraaumentara confiana do mercado no processo de
certificao de SGQ e Queparao sector do softv,'areera urgente a cria50 de organismosde
certificao devidamente&amp;credit&amp;dos;
* paraauxiliaros implementadoresde SGQ e tambdmparaconseguir .urn&amp;base
consensual paraos auditores.cram necessos materialsde apoio consistentes
Querelacionassew os requisitosgen6ricosdo ISO 9001 com Osrequisitosespecfficos dos SGQ;
* em necesso promovera qualifiesBo proflssionalde auditoresde SGQ.
Os princfpios norteadores de toda a iniciadva TickIT eso expressos em [
          <xref ref-type="bibr" rid="ref5">2</xref>
          ]. Em M&amp;iode
1992, cerca de 65 organiza6es produtoras de software jd tinham obtido a certificao
TicklT. No infcio de 1993 esse ndmero ja era de 148 [7]. Para aldm de organizaJes
inglesas (maioria) e multinacionais foram tarnbdm certificadas outras provenientes da Holanda
BElgica,Alemanha Frana hlanda, Jap5o, [ndia e Brasil. Realizam-se com frequ8ncia
conferncias sob o Tic. A tftulo de exemplo, s6 no m de Fevereiro de 1993 estavam
agendadas 6 no Reino Unido (Bristol, Reading, Birmingham, Manchester, Iondres e
Aberdeen).
        </p>
      </sec>
    </sec>
    <sec id="sec-6">
      <title>4.3 Mecani`smosde reconhec.unento mutao</title>
      <p>TalcomoaconteciaaindaApoucosanoscomas cartasdeconduAo,os
certiffcadosdequalidadenAocramreconhecidosforado p&amp;fsde emissAom,esmono caso da CEE.Um dos
obsulculosa esse reconhecimenteorao facto de Queas avaliaJes feitas pelosorganismos
certificadorepsoderiamvariargrandementeem funko dasconvenJes e praticasnacionais.
Para ultrapassar esta situaAo a ComissZo Europeia patrocinou, atraves do program&amp;CTS
(Conformance Testing Service), a cria&amp;o da inidadva europeia ITQS, Que opera sob os
auspfcios do ECITC. Os objectivos fundamentals do ITQS so consubstanciados naquilo
Quefoi design&amp;dopor "Recognition Arrangement for Assessment and Certification of
Quality Systems in the Information Technology Sector", .Queinclui:
* a harrnonizaAo das avaliaJes para certifica5o, atrav&amp;sda adopo de normas, tcnicas
e material de apoio comuns;
* a criao de um Registo Central, divulgado regularmente, em qua constam todas as
organiza6es certiflcadas nos vos pafses. Esta Registo traduzir-se num "guia do
comprador europeu" para os clientes em busca de fomecedores de confiana;
* o reconhecimento multinacional dos certiflcados. Esta aspecto 6 de maior impomlncia
quando se trabalhe com clientes de diferentes pafses.</p>
      <p>O ITQS 6 um cons6rcio transauropeu reconhecidopelo ECITC. Em finalsde 1993 [8],
inclufajd os seguintasorganismos;</p>
      <p>AlB-VINcOTfB (Secretariado do ITQS) - Bruxelas / B6Igica
RW- (Rheinisch-Wes Cher Technischer Uberwachungs-Verein en) Essen /
Alemanha</p>
      <p>-Rheinland (Technischer Oberwachungs-Verein Rheinland en) - Col6nia /
Alemanha
TUV-Bayem (Technischer erwachungs-Verein Bayem en) - Munique / Alemanha4
KEMA - Arnhem / Holanda
IMO (Istituto Italiano del Marchio di Qualita) - Milo / IuIlia
ElectronIRCantralen - Horsholm / Oinamarca
BSI-QA (British Standards Institution - Quality Assurance) - Milton Keynes / Ramo
Unido
AFAQ (Association Franaise de Assurance de Qualit6) - Paris / Franas</p>
      <p>AENOR (Associa20 Espanhola para a Normaliza50 e Certificao) - Madrid /Espanha
Um dos principals resultados, em termos t6cnicos, alcanado pelo ITQS, foi a produAo do
"Guia Europeu para Auditores de Sistemas de Qualz.dadeno sector das TecnoLogias de
InformaVdo"6Que fol submetido para aprovao aos organismos europeus de normalizako
(CEN/CENELEC). Esta guia fol preparado sob a 6gide de:
. Comiss&amp;odas Comunidades Europeias - projecto CTS2-SQS para a harmonizago da
auditoria de sistemas de qualidade;
* UK Information Technology Assessment Guide Committee (ITAGC), conhecido
actualmente por Bridsh Standards Institution's DISC committee BSFD/9/I.
4.4 Organu. mos Nacionais
A grande diversidade de sectores de actividade, com os sens conhecimentos,
procedimentos, [6cnicas e normas especf6cas, lava a que seja pniflea intemacional corrente o OCN
dales compencias na ea da certificaAo em Organismos de Certifica5o Sectorial
(OCS), com reconhecida compencia e independ8ncia no sector respectivo, Asemelhana
ali, do qua acontece com os ONS.</p>
      <p>Contudo, embora no conjunto de todos Os sectores de actividade, existam em Portugal 40
ONS, apenas 4 OCS (51 foram acreditados pelo IPQ (Mquinas Agrfcolas, Produtos
Cer&amp;micos, Material El6ctrico a Embalagem).
4 - OscrSsorganisroosaIemAes550coordenadospeIaDIN-DGWK
5 - por delegao da A]FNOR(Associadon Franaise de NORmalisation)
6 - Esceguia fol lgualmenteadopt&amp;dopela iniciacivaTic (Rciao Unido).
Na ;ilea das TI jd algumas multinacionais com sede em Portugal/ conseguiram ou eso
vias de conseguir os cespectivos certificados. As areas cobertas foram:
em
o
.</p>
      <p>Comercializao de Equipamentos e Servios na ea das Tecnologias da InformaAo
Assisncia Tcnica a Produtos Informficos, Hardware e Software
A certificaAo fol, nestes casos e ate data assegurada pelo IPQ servindo-se para tal de
auditores e tcnicos especializados independentes nas diversas eas.</p>
      <p>O problem&amp;da certificaAo do processo de desenvolvimenzo de soli!ware,na prepara&amp;o da
qual algumas,"softwacehouses" nacionais esnlo j4 a trabalhar afmcadamente, d uma queso
sobre a qual interessa meditar. Para efectuar as auditodas de certificako, 6 necesso
dominar de uma forma abrangente os mdtodos e t6cnicas da qualidade que m uma expresso
bem especffica e diferente em Engenharia de Software. Tal especificidade fol alias
reconhecida pela ISO ao publicar a norma 9000-3 [6] e fol o motor para o lanamento de iniciativas
como a TickIT brin1nica. Neste momento palm ainda alguma indefini80, aguardando-se
que o IPQ clarifique quern, como e quando icd definir e conduzir os processos de
certificago no tocante ao desenvolvimento de software. Uma abordagem generalista como aquela
que cessalta da design&amp;Bo das areas em que ocorreram os processos de certifica50 acima
referidos, nAo reconhece a particularidade da problemdBea da Qualidade no processo de
desenvolvimento de software. Em 6ltima an, tal no favorece o reconhecimento em
Portugal da marca de qualidade como uma vantagem competitiva nesta a particular, Que
tanta ateno tern recebido ultimamente, um pouco por todo o mundo. A semelhana do
que tern acontecido noutras eas, parece desejdval a acredita50 de um OCS pol aphcgo
da srie de normas EN 45000.
5. ImOtui6es promotoras da Qualidade em Engenharia de Software</p>
    </sec>
    <sec id="sec-7">
      <title>5.1 A nzel internacional</title>
      <p>0 Software EngineeringInstitute(SEX)k uma organizao patrocinadapelo Departamento
de Defesa dos EUA (DOD), Quefunciona em ligaAo com a Universidade de
CarnegieMellon. A sua missBo k a de promover a adopAo pela comunidadeindustrialdas "boas"
tcnicas da Engenhariade Softwareatravdsde:
* produ9Aode materialspedag6gicos(livcos, manuals,artigos,fllrnes);
* realizao de cursos de forma9&amp;o;
* promo20 de eventos (confer8ncias,workshops,seminos);
* actividadesde certlficako e consultoria
Um dos result&amp;dos mais importances da actividade do SEX,fol o estabelecimento de um
modeIOde maWridade para o processo de desenvolvimento de software.</p>
      <p>Endereo: Software Engineering Institute, Carnegie MeUon University, Pittsburgh, PA
15213-3890, USA, Tel: +1 412 268 7700, email: education@sei-cmu.edu
7 - ICL,IBM,</p>
      <sec id="sec-7-1">
        <title>EurQpegq SQgrC TqStz"tute( ES()_</title>
        <p>O objectivo do ESL formalmente estabelecido em Julho de 1993 e com sede em Bilbao no
Pafs Basco, 6 o de apolar os sens membros (associados) e a inddstria de software europeia
em geral, a melhorar a competitividade atrav6s da promgo e divulgago das melhores
prticas em Engenharia de Software. A ideia d essencialmente ajudar na assimilago dessas
prticas jd conhecidas, isto e, apostar na transferSncia de tecnologia e no de investigar
novas vias. De certa forma, d a resposta europeia a iniciativa Congdacre americanaa
referida (SET).0 fmanciamento do ESL pelo menos nos trSs primeiros anos de exisncia e
assegurado pela ComissSo Europeia (6 milhs de ecus) e pelo Govemo Basco, para al6m da
quota annal dos associados (100.000 ecuss). O ESTestd a concentrar os sens esforos em
trs eas estratdgicas
.
.
.</p>
        <p>esquemas e tecnologias para melhoria do processo de desenvolvimento de software;
esquemas de avalia09;
disseminao.</p>
        <p>Os serviOs Queo ESlespera vir a oferecer ans sens membros inclui o acesso a todos os
resultados da actividade do ESL tais coma: bases de dados, estudos, cursos de formaAo,
public&amp;6es tecnicas, etc. Existe jd am estreitar de laos do ESTcom o SEI e com as
iniciativas SPICE, ESSI e ESPRIT.</p>
        <p>Endero: European Software Institute, c/o Parque Tecnol6gico, Ediffcio Central (101)
Room 208, E-48016 Zamudio (Bilbao), Espaf!a, Tel: +34 4 420 9519, Fax: +34 4 420 9420
:/ ru4LL, ,LIL, ULT , I` ,iV
0 ISCN g uma rede internacional de consultores especialistas no apoio introduko de
mudanas com vista Awelhoria da qualidade do processo de desenvolvimento de software.
Butte outras actlvidades, s5o os promotores de seminos e "work:shops"sobre a qualidade no
software como o ISCN`94.</p>
      </sec>
    </sec>
    <sec id="sec-8">
      <title>5.2 A nz"velnacionaL</title>
      <p>,uJtnumtz, ;,Ur Juuttuuu,
Poi criado no seio da AssociaAo Portuguesaparaa Qualidade CAPO)em 1983, com o
objectivo de promover a troca de experincias entre os sens membros e a divulgao de
cnicas de Garantiada Qualidadeaplicadasao Software.0 GDQS ternpromovidoa
realiza&amp;o de Jomadas dedicadasAQualidadeno Software,adiantereferidas.</p>
      <p>Para algm de encontros regulares (gemlmentemensais) entre os sens membrosna sede da
APO em Lisboa, o GDQS produziu umabrochuradedicadaao tern&amp;da Qualidadedo
Software [9] que fol editadacom o apoio do Program&amp;6 do PEDTP.</p>
      <p>E uma comissAointegrada no Conselho Nacional da Qualidade, funcionando na
depend8ncia direct&amp;da sua Comisso Executiva. A CS/f)3tern como objectivo [10] snailsar,
promo8 - o valordesta quota, perm de 20 mu commapor ano. pressu que Os associados Sergeigranda empresasoode o
softwarejoga um papel fundamental no ocg6cio. Est&amp;cootudo previsto Quepossam tamb6m aderirao ES{ pequenas
orgaoizas (paraas quais a quotaderdde 5.000 ecus - cercade 1000 contos) e mesmo individuosa dtulo particular.
9 - do em estudoas atordageOspropostas Oesta ea pelo SBI. BTS.f.B-'tLP Cprojecto PBIT) eTicT.
ver e dinamizaras vas componentesQueinfluenciama Qualidadeno sector das TI, ao
nfvel de produtos e servios, e preparerrecomenda95espara a respectivamelhoria Os
membros da CS/03s&amp;orepresentantesde entidadesconvidadaspela ComissAoExecutiva
O resultado mais relevante da actividade do primeiro ano de funcionamento da CS/03 foi
precisamente a moot&amp;gemdo evento QUATIT '94 - I o Encontro NacionaLpara a QuaLidade
nas TecnoLogiasda Infoma e TelecomanicaBes, no bito do qual se inclui este
artigo.
6. Encontros dedicados k QuaBdadeno Software
V;irios m sido os encontros (conferendas, "wOrkShops",seminOs, etc) Que nos dltimos
anos m sido dedicados a terndtica'da Qualidade no Software genericamente, ou a alguns
dos seus aspectos especlficos A timlo de exemplo referem-se alguns, apenas a oivel
europen.
.</p>
      <p>Eurometrics (Paris 1990,Bruxelas 1992)
. SQM'94 - Software Quality Management (Edinburgo 1994)
* ISCN'94 (Dublin 1994)
* QUATIT'94 (Lisboa 1994)
7. Galas para a construo</p>
      <p>de Manuals de Qualidade
A quahdade do processo de desennolvimento depende da adop&amp;o de um conjunto de
actividades devidamente sistematizado - Sistema de Qualidade - Quedeve estar perfeitamente
definiidoe documentado - Manual de Qualidade. Tal Sistema de Qualidade deve
ident1ficar o correspondeote comprometimento da geso e incluir a defmio das estrat6gias a
desenvolver, detalhando os vos passos necessos. Vas inidativas $50 conhecidas a
nfvel europeu para auxiliar as organiza6es a constituirem os seus Manuals de Qualidade:
"MS H - M d !Tinar ali Hand `k" [II]
F resultado de um trabalho parcialmente suportado pelo Fundo N6rdico para o
Desenvolvimento Tecnol6gico e Industrial e levado a cabo pelo grupo Inter-N6rdico de
NormalizaAoem Tecnologias da Inform&amp;&amp;o(INSTA/IT) englobando a participa5o de:
IcelandicCouncilfor Normalization(STRi) - Isldia
Dansk Standardiseringsra(dDS) - Dinarnarca
FinnishStandardsOrganization(SFS) - Finldia
NorskVerkstadindustrSi tandardisering(NVS) - Noruega</p>
      <p>InformationsteknologiskStandardisering(SIS-ITS)- Sudcia
O intuito Quepresidiu Asua concepAo 6 o de auxiliarpequenas e medias enpresas
produtoras de software a introduzirem (ou reorgan!zarem) um Sistema de Qualidade,
auxiliandoas a exprimir o seu Manual de Qualidade. E um documento baseado essencialmente nas
normas 1509001 e ISO 9000-3, mas contendo extens6es relacionadas com as eas dos
servios (1509004), das caracterfsticas de qualidade dos produtos (1509126) e da auditoda
(ISOIOOII). So inclufdas referncias cruzadas entre as alfneas do MSQH e as
correspondentes dos 1509000-3 e 1509001. Para cada uma das actividades do ciclo de Vida do
software, descreve os cargos, as tarefas envolvidas, os objecdvos, a distribui50 das
responsabilidades e os documentos a produzir. O MSQH deve ser entendido como um conjunto de
recomendaJes, as quais terAode ser configuradas para cada empresa em particul</p>
    </sec>
    <sec id="sec-9">
      <title>InduussttTrrlzz-`a.assaa</title>
      <p>1".,
Essa documentoabordaessencialrnentea questAoda constru&amp;oe avaliaAo formalde SGQ
parasoftwareno sentido da obten&amp;o da certifica&amp;oISO 9001, atravdsda aphcaVkodas
hnhasorientadoraspropostasno ISO 9000-3. Inclui s hulas:
* Guia parao Comprador- expectativas dos clientes face a uma organizako cujo SGQ
foi avaliadoe certiflcadoISO 9001;
. Guia do Fornecedor- directivasparaos implementadoresde SGQ
desejandoacertificago ISO9001;
* AQAP 150, "Requirementsfor QualityManagementof Software Development",Allied</p>
      <p>QualityAssurancePublication,Main 1990
. PECAL-13, "Exigenciasparaun Sistema deControlTotal de la Calidaddel Software",</p>
      <p>PublicacionesEspafiolasdeCalidad
0 sen objectivo6 o de servirde ajuda empresasQuedesenvolvemsoftwareparao
MinistdriodaDefesa, na prepara5o de Pianos de Qualidade,com o fun de:
. cumpriremcom os sens compromissoscontratuais(PECAL-13)
. melhorara qualidadedos processosde desenvolvimentoe dos produtosfinals
. facilitaro trabalhodo responsAnaplela garantiada qualidade,medium o controlo sis"
terntico das acdvidadesQueme s50 pr6prias
"TickrTr __ cc:::,!,,s;;,
l"1\Aal)rne"rPnO,,uu"ana"ll!1itt"vv,"2v1 'anaeoen
Guia do Auditor - direcdvas sobre Osmetodos de conduzir avalia6es de fomecedores
desejando a certifica&amp;o ISO 9001. Em Ap8ndice 850 ainda inclufdos os requisitos, em
termos de atributos proflssionais, para auditores TickIT.
8. Normas relevantes com divis5o tern&amp;Om
Terrninoiogiae Taxonomia
. ANSI/IEEE Std 729 (1983) / 610.12 (1990) : "Standard Glossary of Software</p>
      <p>Engineering Terminology"
. ANSI/IEEE Std 1002 (1987): "Standard Taxonomy for Software Engineering
Standards"
* ISO/IEC 2382 :"Information Technology - Vocabulary"</p>
      <p>Part I (1984) : "Fundamental Terms"
Part 2 (1976) : "Arithmetic and logic operations"
Part 7 (1989) : "Computer programming"
Part 8 (1986) : "Control, integrity and security"
Part 10(1979) : "Operating techniques and facilities"
Part 14(1978) :"Reliability, maintenance and availability"</p>
      <p>Part 15 (1985) : "Programming languages"
. ISO 8402 (1986/92) : "Quality - Vocabulary"
* AQAP 15 : "Glossary of Terms used in Quality Assurance STANAG`sand AQAP`s"
Gest5o de ProjecWs, Cido de Vida e Documentao
* ANSI/IEEE Std 1058.1 (1987) : "Standard for Software Project Management Plans"
* ANSI/IEEE Std 1074/f)5 (1990 ?) : "Standard for Software Life-Cycle Processes"
. DODMil Std 499A : "System Engineering"
. DODMil Std 88IA : "Work Breakdown Structure"
. DODMil Std 2167 A : "Defense System Software Development"
* ISO 9294 : "Guide for Management of Software Documentation"
. ISO DIS 12207 : "Software Life-Cycle Process
. PIPS 105(1984) : "Guidelines for Software Documentation Management"
Pianos de Qnalidade
. ANSI/IEEE Std 730 (198I/89) : "Standard for Software Quality Assurance Plans"
* ANSI/IEEE Std 983 (1986) :"Guide for Software Quality Assurance Planning"
. ANSI/IEEE Std 1298(1992) : "Software Quality Management Systems"
. AQAP 13 : "Software Quality Control System Requirements"
. AQAP 14 : "Guide for the Evaluation of the Quality Control Systemof a Contractor"
. AQAP 150 :"Requirements for Quality Management'of Software Development"
. ISO 9000 (1987) : "Quality Management and Quality Assurance Standards"
Part I : Guidelines for selection and use
Part 2: Guidelines for the application of ISO 9001, 9002 e 9003
Part 3 (1991) :Guidelines for the application of ISO 9001 to the development,
suppLyand maz.ntenanceof software
* ISO 9001 (1987) : "Quality Systems - Model for Quality Assurance in Design /
Development, Production, Installation and Servicing"
. ISO 9126 (1991) : "Information Technology - Software Product Evaluation - Quality
Characteristics and Guidelines for their use"
An:Sise e Desenho
* ANSt/IEEE Std 830 (1984) : "Guide for Software Requirements Specifications"
. ANSI/IEEE Std 1016 (1987/93) : "Guide for Software Design Descriptions"
* DODMil Std 490A : "Specific&amp;donPractices"
Gest5o de ConfiguraBes
* ANSI/IEEE Std 828 (1983/90) : "Standard for Software COnfiguration Management</p>
      <p>Plans"
* ANSI/IEEE Std 1042 (1987) :"Guide for Software Configuration Management"
* Dod Mil Std 4808,481 B,482A,483A : "Configuration Management"
Verificao e Validao
* ANSI/IEEEStd 829 (1983) : "Standard for Software Test Documentation"
* ANSI/IEEE Std 1008 (1987) : "Standard for Software Unit Testing"
* ANSI/IEEE Std P- 1044 (draft) : "Classification for Software Errors, Faults and</p>
      <p>Failures"
* ANSI/IEEE Std 1012 (1986) : "Standard for Software Verification and Validation</p>
      <p>Plans"
* ANSI/IEEE Std 1028 (1988) : "Standard for Software Reviews and Audits"
* DODMil Std 1521 B (1985) : "Technical Reviews and Audits for Systems, Equipments
and Computer Software"
* ISO 12119 ; "Information Technology - Software Packages - Quality Requirements and</p>
      <p>Testing"
Mktricas
* ANSI/IEEE Std 982.1 (1988) : "Standard DictiOnaryof Measures to Produce Reliable</p>
      <p>Software"
* ANSI/IEEE Std 982.2 (1988) :"Guide for the Use of 982.1"
* ANSI/IEEE Std P-1061/D2l ( draft ) : "Standard for a Software Quality Metrics</p>
      <p>Methodology"
* ANSI/IEEE Std P-104573.1 ( draft ) : "Standard for Software Productivity Metrics"
Docurnentao para Udlizadora .
* ANSI/IEEE Std 1063 (1987) : "Standard for Software User Documentation"
. ISO 6592 (1985) : "Information Processing Guidelines for the Documentation of</p>
      <p>Computer-based Application Systems"
* ISO 9127 (1988) - "fnformadon Processing Systems - User Documentation and Cover</p>
      <p>Information for Consumer Software Packages"
Normalizo, CerdScao e ^creditso
* ISO/IEC Guide 2 (1986): "General terms and their definitions concerning
standardization and related activities"
9. Acr6mmos
AENOR - Associa5o Espanholade NormalizaAo
AFAQ - AssociationFranaise deAssurancede Qualite
AFNOR - AssociationFranaise de Normalisation
ANSI - AmericanNacionalStandardsInstitute(EUA)
AQAP- Allied QualityAssurancePublication
BCS - BritishComputerSociety
BSI - BritishStandardsInstitute
CD - CommitteeDraft(estagio de prd-publica&amp;ode normasISO antes de passarema DIS)
CE - Comiso Europeia
CEN - Comit6Europeude Normaliza&amp;o
CENELEC- Comite Europeude NormalizaAo Electrot6cnica
CNQ - ConselhoNacional da Qualidade
CT - Comisso Tdcnica
CTS - ConformanceTesting Service
DIN - DeutschesIns&amp;wtfurNormung(Aiemanha)
DIS - DraftIntemadonalStandard(estagio de pr6-publica&amp;oem quo umanormaISO d
votada portodos os organismosnacionaisrepresentadosno comite correspondente)
DOD- Departmentof Defense CECA)
DTI - Departmentof TradeandIndustry(Reino Unido)
ECITC- EuropeanCommitteefor IT&amp;T Testingand Certification
EFTA- EuropeanFree TradeAssociation
EN - NormaEuropeia
EOTC- EuropeanOrganizationfor Testing andCertification
EQS - EuropeanQualitySystem Assessment and CertiflcadonCommittee
ESPRIT- EuropeanStrategicProgramof Researchon InformationTechnologies (CE)
ESSI - EuropeanSoftwareSystems Initiative
EUA - EstadosUnidos daAmerica
IEC - International Electrotechnical Commission
IEEE - Institute of Electrical and Electronics Engineers (EUA)
INESC - Instimto de Engenharia de Sistemas e Computadores
IPQ - Instituto Portugu8s da Qualidade
ISEG - Instituto Superior de Economia e Geso (Universidade Tcnica de Lisboa)
ISO - International Organization for Standardization
ITQS - Information Technology Quality Systems
JISC - Japanese Industrial Standards Committee
NATO - North Atlantic Treaty Organization
NP - Norma Portuguesa
OCN - Organismo de Certiflcko Nacional
OCS - Organismo de CertificaAo Sectorial
ONN - Organismo de Normalizago Nacional
ONS - Organismo de Normalizaio Sectorial
SCC - Standards Council of Canada
SGQ - Sistemas de Geso da Qualidade
SPICE - Software Process Improvement and Capability dEtermination (ISO SC7/WGIO)
STANAG - STAndardization Nato AGreement
TIT - Tecnologias da Inform&amp;Ao e TelecomunicaJes
WD - Working Draft (estagio uncial das normas ISO, antes de passarem a CD)
10. Referncias
[3] CATIE, Software and Information Services in Portugal, Fmal Report BIS
StrategicDecisions, Janeiro1993.</p>
      <p>DTI, 77cUTNews, no 3, Janeiro 1993.</p>
      <p>ITQS, /TQS News, n'2, Setembro 1993.
[4]
[5]
{7]
[8]</p>
      <p>AMI UserGroup,De Facto - The ami Newsletter, no 7, Janeiro 1994.</p>
      <p>CNQ, Relat6n.o de Acompanhamento daPoll`ticaNacional da Qualz.dade,1993.
[6] ISO, /S09000 Part 3 - Guidelines for the Application of ISO 9001 to the
Development, Supply and Maintenance of Software, ISOIIEC,Junho 1991.
[9] Ganh&amp;o,Fernando&amp; Costal, Igl6sias &amp; Seraflm,Rodrigues,Qual!dade do Sofnvare,
AQP/ GrupoDinamizadorda Qualidadedo Software,1992.
[10] CNQ, Regimento das Comisso-esSectoriais do Conselho Nac!onal da Quah`dade,
CE1I49 Rev.2, Outubro1992.</p>
      <sec id="sec-9-1">
        <title>Model/in&amp; a Soare</title>
        <p>Nome: Eng.oFernando Manuel Pereira da Costa Brito e Adrea
Ins6tuiHes: ISEG / UTL - Instituto Superior de Economia e Gesto</p>
        <p>INESC - Instituto de Engenharia de Sistemas e Computadores
Endero: INESC, Rua Alves Redol, 9, Apartado 13069, 1017 Lisboa
Tf: (01) 3100000 Ext.2226 Fax: (01) 525843 Email: fba@inesc.pt
Biogra6a resumida: Fernando Brito e Adrea 6 Licenciado em Engenharia Electrocnica
pelo Instituto Superior T6cnico (IST) da Universidade T6cnica .de Lisboa e Mestre em
Engenharia Electrot6cnica e de Computadores tamb6m pelo IST. E docente do NaCle.ode
Ci8ncias e Tecnologias da Inform&amp;ko do Instituto Superior de Economia e Gest&amp;o.E
Investigador no INESC, no Grupo de Sistemas de Inform&amp;Ao, onde hdera uma equipa de
investi'gaAo em GestAo de Projectos de Engenharia de Software. Participa na Comiss8o Sectorial
para as Tecnologias de Inform&amp;ko (CS/03) do Concelho Nacional para a Qualidade em
representaAo do INESC. E membro da Ordem dos Engenheiros, do Subcomit6 do IEEE-CS
TCSE (Technical Comittee on Software Engineering) em M6todos Quantitativos aplicados</p>
        <p>Engenharia de Software e do Subcomit6 7 (Software Engineering) do JTCI da ISO. Esta
correntemente preparando o Doutoramento na ea de M6todos Quantitativos aphcados a
Geso de Projectos de Engenharia de Software.</p>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          <source>* European Conference on Software Quality CI` em 1988</source>
          , Oslo 1990, Madrid 1992,
          <year>Basileia 1994</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          * AQuIS - International
          <source>Conference on Achieving Quality in Software (la em</source>
          <year>1991</year>
          ,
          <year>Veneza 1993</year>
          )
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          <article-title>* Jornadas da APQ para a QuaBdade no Software</article-title>
          (
          <year>Lisboa 1987</year>
          ,
          <article-title>Lisboa 1988</article-title>
          ,
          <article-title>Porto 1989</article-title>
          ,
          <article-title>Lisboa 1990</article-title>
          ,
          <article-title>Porto 1991</article-title>
          ,
          <year>Lisboa 1992</year>
          )
          <article-title>* ISO IOOtl ; "Guidelines for Auditing Quality Systems" Part I (</article-title>
          <year>1990</year>
          ) :
          <article-title>"Auditing" Part 2 (</article-title>
          <year>1991</year>
          ) :
          <article-title>"Qualification Criteria for Quality Systems Auditors" Part 3 (</article-title>
          <year>1991</year>
          ) :
          <article-title>"Management of Audit Programmes"</article-title>
          *
          <source>DODMu Std</source>
          <volume>1679</volume>
          :
          <article-title>"Software Quality Assessment"</article-title>
          *
          <source>DOD Mil Std</source>
          <volume>2168</volume>
          :
          <article-title>"</article-title>
          <source>Software Quality Program"</source>
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          [1] MiIls,EveraldE.,
          <string-name>
            <surname>Software</surname>
            <given-names>Metrics</given-names>
          </string-name>
          ,
          <source>CurriculumModule SEI-CM-12-1</source>
          .1,
          <string-name>
            <surname>Software</surname>
            <given-names>EngineeringInstitute</given-names>
          </string-name>
          ,CarnegieMellon University,
          <year>Dezembro 1988</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          [2]
          <string-name>
            <given-names>TickIT</given-names>
            <surname>Project Office</surname>
          </string-name>
          ,
          <article-title>A Guide to SofnJare QMS Construction using 1509001 I.</article-title>
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          <source>EN29001 1855750</source>
          ,
          <string-name>
            <surname>Vars</surname>
          </string-name>
          &amp;o2,
          <string-name>
            <surname>Departmentof</surname>
            <given-names>TradeandIndustry</given-names>
          </string-name>
          ,
          <year>Fevereiro 1992</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          <article-title>[ll] Icelandic Council for Standardization (STR{), MSQH Quail Handbook</article-title>
          , l ediAo,
          <year>1991</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          [12]
          <string-name>
            <surname>AECC - Asociaci6n EspaSola parala Calidad</surname>
          </string-name>
          ,Recomendaciones para la Preparacion de Planes de Colt.daddel Soare para las Indusnias de Defesa,
          <year>1992</year>
          .
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>