Etkili Bir Kalite Güvence Sürecinin Parçası Olarak Proje Seviyesindeki Denetimler: Uygulanan Pratikler ve Öğrenilen Dersler Mustafa Değerli , Elif Kurtaran Özbudak , A. Aslı Aytaç , F. Nur Çolakoğlu ve Özge Ekici Demirel TÜBİTAK BİLGEM İleri Teknolojiler Araştırma Enstitüsü (İLTAREN), Ankara, Türkiye mustafa.degerli@tubitak.gov.tr elif.kurtaran@tubitak.gov.tr asli.aytac@tubitak.gov.tr nur.colakoglu@tubitak.gov.tr ozge.demirel@tubitak.gov.tr Özet. Proje yaşam döngüsü boyunca kullanılan süreçler (yönetsel ve mühendislik iş süreçleri), ürünler (mal ve hizmet) için proaktif ve risk yönetimi temelli olarak doğru işleri tek seferde doğru yapmak ve sürekli performans iyileşmesi sağlamak üzere oldukça değerli araçlar olup, bu süreçler ilgili projelerde üretilen ürünlerin kalitesini önemli ölçüde etkilemektedir. Bu kapsamda, özellikle süreçlere ve bun- lara ek olarak sözleşmeler ve ilgili planlara göre yapılan ve yönetilen denetimler, hem uygunluğa dair objektif kanıtlar toplayarak ilgili paydaşlara güven sağlan- ması hem de sürekli iyileşmeye yönelik fırsatların tespit edilebilmesi açısından kayda değer kalite güvence pratiklerinden neredeyse en önemlisidir. Dolayısıyla, projeler seviyesinde uygulanan denetimler önemlidir. Bu çalışmada, TÜBİTAK BİLGEM İLTAREN’de tesis edilen ve sürekli iyileştirilerek olgun bir kıvama getirilen kalite güvence sürecinin denetimler ile ilgili kısmı hakkında açıklayıcı ve yön gösterici bilgiler ve bu kapsamda alınan dersler paylaşılmaktadır. Özel olarak, İLTAREN’de projeler seviyesinde uygulanan denetimlere ilişkin roller tanıtılmakta, denetim alt sürecine ilişkin faaliyetler (denetimlerin planlanması, denetimlerin gerçekleştirilmesi ve uygunsuzlukların kapanana kadar takip edil- mesi) adım adım açıklanmakta ve bu bağlamda ilgililer için yararlı olabilecek öneriler paylaşılmaktadır. Anahtar Kelimeler: Kalite Güvence, Denetim, Süreç. 391 Project-Level Audits as Part of an Effective Quality Assurance Process: Applied Practices and Relevant Lessons Learned Abstract. Processes (management and engineering business processes) used in project lifecycles are very salient instruments for products (goods and services) to do work right the first time and achieve continuous improvement in a proactive and risk-based manner, and these processes highly influence the quality of the products developed in projects. In this perspective, audits conducted and man- aged with respect to processes specifically and contracts and relevant plans addi- tionally are almost the most vital ones of quality assurance practices aimed at both providing confidence to relevant stakeholders by means of collecting evi- dences for compliance and identifying opportunities on behalf of continuous im- provement. As a result, project-level audits are essential. In this study, explana- tory and guiding information about audits part of the quality assurance process established and maintained in a continuously improved manner at TUBITAK BILGEM ILTAREN and pertinent lessons learned are shared. Precisely, roles in project-level audits conducted for projects at ILTAREN are introduced, activities (audit planning, audit execution, following non-compliances till closure) for au- dit sub-process are explained step-by-step, and certain recommendations for the appropriate context those might be helpful for involved professionals are dissem- inated. Keywords: Quality Assurance, Audit, Process. 1 Giriş Genel olarak, kalite güvence (KG), bir birimin (proje, bölüm, iş vb.) kalite için gerek- sinimlerini karşılamak maksadı ile yeterli güveni sağlamak üzere kalite sistemi dâhi- linde yapılan ve gerekli durumlarda ortaya konulan tüm planlı ve sistematik etkinlik- lerdir. Kalite güvence kapsamında temel olarak yerine getirilen faaliyetler denetimler ve gözden geçirmelerdir. Denetimler farklı bağlam ve amaçlara göre farklı tanımlanabile- cek hususlardır. Bu çalışmada, denetim süreç veya ürünlerin gereksinimlerle uyumlu- luğunu değerlendirmek maksadı ile yetkilendirilmiş bir kişi/ekip tarafından bağımsız bir şekilde değerlendirilmesidir. Projeler kapsamında, süreçlere ve bunlara ek olarak sözleşmeler ve ilgili planlara göre yapılan ve yönetilen denetimler, hem uygunluğa dair objektif kanıtlar toplayarak ilgili paydaşlara güven sağlanması hem de sürekli iyileşmeye yönelik fırsatların tespit edilebilmesi açısından kayda değer kalite güvence pratiklerinden neredeyse en önemli- sidir. Genel olarak yönetim sistemlerinin denetlenmesine dair önemli uluslararası rehber- lerden biri ISO 19011’dir [1]. ISO 19011, denetim prensipleri, denetim programının 392 yönetilmesi, denetimin gerçekleştirilmesi ve denetim sürecinde yer alan kişilerin yet- kinlikleri hakkında iyi rafine edilmiş bilgiler sağlar fakat organizasyonların bunlardan istifade ederek kendi denetim yaklaşımlarını oluşturmaları, geliştirmeleri ve sürdürme- leri esastır. İlgili gereksinimler, planlamalar ve düzenlemelere göre sistematik süreç denetimleri yapılması günümüzdeki birçok standart, model veya en iyi pratik tarifleri tarafından gerekli kılınmaktadır [2, 3, 4]. Denetimler yoluyla sağlanabilen çeşitli girdiler sayesinde süreçte ve sonuçlarda iyi- leşmeler yapılabilmektedir [5] ve denetimlerin bazı ana faydaları şu şekilde listelene- bilir [6]:  Süreç iyileştirme fırsatlarının tespit edilmesi  Problemlerin çok geç olmadan ve/veya daha az maliyetle düzeltilebilmesi için fırsat yaratılması  Hatalı aktivitelerin tespiti için fırsatların artması  Denetim kapsamının genişlemesi yoluyla kalitenin artması  Düzenlemelere uyumun artması Öte yandan, jenerik bir denetim süreci dokuz ana unsurdan oluşur:  Denetim Başlatma: Planlı veya Talep Edilen Denetim  Denetçilerin Denetimi Planlaması  Denetimin İlgililere Duyurulması  Denetim Başlatma Toplantısı  Denetim Saha Çalışması / Veri Toplamanın Başlaması  Denetim Veri Analizi, Takip ve Doğrulama  Taslak Denetim Bulguları, Sonuçlar ve Öneriler  Denetim Kapanış Toplantısı  Denetim Raporunun Yazılması ve Dağıtımı Bu çalışmada, İLTAREN’de projeler seviyesinde uygulanan denetimlere ilişkin rol- ler tanıtılacak, İLAREN kalite güvence yaklaşımı ve denetim alt sürecine ilişkin faali- yetler adım adım açıklanarak ve bu bağlamda ilgililer için yararlı olabilecek öneriler paylaşılacaktır. 2 TÜBİTAK BİLGEM İLTAREN Kalite Güvence ve Süreç Denetimi Yaklaşımı 2.1 İLTAREN Kalite Güvence Süreci TÜBİTAK BİLGEM İLTAREN’de tesis edilen ve deneyimlerle sürekli iyileştirilerek olgun bir kıvama getirilen İLTAREN Kalite Güvence Süreci ana görünümü Şekil 1’de verilmiştir. 393 1.Taslak sözleşme ve Taslak sözleşme ve ekleri Varsa Görüş/Öneriler eklerini incele ve görüşlerini ver Kalite Güvence Sorumlusu Sözleşme ve Ekleri, Proje Planları, Süreçler 2. Proje kalite güvence faaliyetlerini planla KKGPL, DP, KGPL ve DP Gözden Geçirme Kayıtları Kalite Güvence Planı (KGPL), Denetim Planı (DP), Sözleşme ve KGPL, Proje Takvimi, Süreçler, KGPL, KYPL, Denetim Sonuçları, Ekleri, Proje Planları, Süreçler, Referans Dokümanlar PYPL, Kalibrasyon Kayıtları Soru Listeleri, Önceki Denetim Sonuçları, İlgili İş Ürünleri 4. Denetimleri gerçekleştir 3. İş ürünleri ile ilgili gözden ve uygunsuzlukları 5. Diğer proje kalite geçirmelere katıl kapanana kadar takip et güvence faaliyetlerine katıl Denetim Ajandası, Denetim Sonuç Bilgilendirme Kayıtları, Raporu, Doldurulmuş Denetim Gözden Geçirilmiş İş Ürünleri, Çalışma Raporları, Bilgi Notu, Soru Listeleri, Uygunsuzluk Gözden Geçirme Kayıtları E-Posta, Sunum, KG Kayıtları, Raporu (Varsa), Toplantı Katılımcı İlgili Kayıtlar Listeleri Şekil 1. İLTAREN Kalite Güvence Süreci Ana Görünümü 2.2 Proje Seviyesindeki Denetimler İLTAREN’de kalite güvence sürecinin parçası olarak uygulanan proje seviyesindeki denetimler için süreç rolleri ve açıklamaları Tablo 1’de verilmiştir. Ayrıca, İLTAREN’de proje seviyesindeki denetimlerin gerçekleştirilmesi ve uygun- suzlukların takip edilmesi şeması Şekil 2’de, denetimlerin gerçekleştirilmesi akışı Şekil 3’te, denetimlerin gerçekleştirilmesine ait faaliyet detayları Tablo 2’de, uygunsuzluk- ların takibi akışı Şekil 4’te ve uygunsuzlukların takibine ait faaliyet detayları Tablo 3’te verilmiştir. 394 Tablo 1. Süreç Rolleri Rol Açıklama Denetim Denetimin amacı ve kapsamı esas alınarak Kalite ve Süreç Yönetimi Bölüm Başkanı ta- Ekibi rafından belirlenen ekiptir. Denetim ekibi en az bir Denetim Ekibi Lideri’nden oluşur. Ekipte yer alacak diğer kişiler Denetçi olarak nitelendirilir. Denetim Ekibi şunları yapar: • Proje planları, süreçler ve sözleşmeyi dikkate alarak denetimlerle ilgili denetim soru listelerini hazırlamak. • Denetim öncesinde, daha önceki denetim sonuçlarını gözden geçirmek ve henüz açık olan uygunsuzluklar ile varsa sonraki denetimlerde dikkate alınması önerilen hususları belirlemek. • Denetimleri gerçekleştirmek, Denetim Sonuç Raporu ve varsa Uygunsuzluk Ra- poru’nu hazırlamak. Denetim Kalite ve Süreç Yönetimi Bölüm Başkanı tarafından her bir denetim için dinamik olarak Ekibi Lideri atanan ve Denetim Ekibi’ne liderlik eden, koordinasyonu sağlayan ve denetimin sonuç- landırılması ve raporlanmasından sorumlu olan kişidir. Proje Perso- Denetlenen olarak denetimlere katılan kişilerdir. Bu kişiler şu işleri yapar: neli • Denetimlerde denetlenen olarak yer almak ve gerekli bilgi ve belgeleri sağlamak. • Belirlenen uygunsuzluklar için gerekli olabilecek düzeltme, düzeltici faaliyet ve ön- leyici faaliyetleri yerine getirmek. Enstitü Yö- Enstitü Müdürü, Enstitü Müdür Yardımcıları ve Kalite ve Süreç Yönetimi Bölüm Baş- netimi kanı’nı belirtir. Bu kişiler bu süreç kapsamında aşağıdaki işleri yapar: • KG faaliyetleri için yeterli ve gerekli insan kaynağını ve alt yapıyı sağlamak. • Gerekmesi durumunda kendilerine eskale edilebilecek hususlarda karar vermek. • Kendilerine rapor edilen kalite güvence faaliyetlerinin sonuçları hakkında gerekmesi durumunda işlem almak/aldırmak. DP, Sözleşme ve Ekleri, Proje Planları, Süreçler, Önceki Denetim Sonuçları, İş Ürünleri Düzeltmeler / Düzeltmeler / Düzeltici Düzeltici Faaliyetler Faaliyetler 4.1 Denetimleri gerçekleştir Düzeltmeler Düzeltmeler // Düzeltici Düzeltici Faaliyetler Faaliyetler Uygunsuzluk Uygunsuzluk var var mı? mı? 4.2 Uygunsuzlukları Evet kapanana kadar takip et Denetim Ekibi, Denetim Ajandası, Dikkate Alınması Gereken Hususlar, Denetim Uygunsuzluk Raporu Uygunsuzluk Raporu Soru Listeleri, Doldurulmuş Denetim Soru Listeleri, Denetim Sonuç Raporu, Hayır Uygunsuzluk Raporu, Toplantı Katılımcı Listesi, E-posta Şekil 2. Denetimleri Gerçekleştir ve Uygunsuzlukları Takip Et Şeması 395 DP 4.1.1 Denetim Ekibini belirle Kalite ve Süreç Yönetimi Denetim Bölüm Başkanı Ekibi Sözleşme ve Ekleri, Proje Planları, 4.1.2 Denetim soru Denetim Soru Listesi Süreçler listesini hazırla Denetim Ekibi Denetim Ajandası 4.1.3 Denetim Denetim Planı, Denetim Soru Listesi takvimini, kapsamını, ajandasını belirle ve ilgili paydaşlara duyur Denetim Planı, Denetim Ekibi Lideri Denetim Ajandası Denetim için giriş koşulları 4.1.4. Denetimi tekrar Hayır oluşmuş ve girdiler hazır mı? planla Denetim Ekibi Lideri Evet Denetim Planı, Önceki Denetim Denetim Ajandası Sonuçları, Denetim 4.1.5 Denetim Ajandası, Denetim hazırlığı yap Soru Listeleri Dikkate Alınması Denetim Ekibi Gereken Hususlar İş Ürünleri, Denetim 4.1.6 Denetimi Taslak Denetim Sonuç Soru Listeleri Raporu, Doldurulmuş Soru gerçekleştir Listeleri Denetim Ekibi Toplantı Katılımcı Listeleri 4.1.7 Denetim sonucu hakkında ilgili Taslak Denetim paydaşlarla uzlaş ve Denetim Sonuç Sonuç Raporu, (varsa) Taslak Denetim Sonuç Raporu, Raporu’nu ve (varsa) (varsa) Uygunsuzluk Uygunsuzluk Raporu Raporu SUVT Uygunsuzluk Raporu’nu nihai hâle getir Denetim Ekibi, Proje Toplantı Katılımcı Yöneticisi, İlgili Proje Listesi Personeli Denetim Sonuç Raporu 4.1.8 Denetim E-posta sonuçlarını ilet Denetim Ekibi Lideri Şekil 3. Denetimleri Gerçekleştir Alt Süreç Şeması 396 Tablo 2. Denetimleri Gerçekleştir Alt Süreci İş Akışına İlişkin Faaliyet Adımları Faaliyet No/ Girdiler Faaliyetin Açıklaması Çıktılar Faaliyet Adı Kalite ve Süreç Yönetimi Bölüm Başkanı DP‘yi referans alarak denetim ekibini be- lirler. Bu aşamada, kişilerin kendi sorumlu olduğu alanları (kendi işlerini) denetle- 4.1.1 Denetim Eki- Denetim Planı memesine özen gösterir. Denetim ekibinde en az bir tane Kalite Güvence Sorum- Denetim Ekibi bini belirle. (DP) lusu olmasına özen gösterilir. Kalite ve Süreç Yönetimi Bölüm Başkanı Denetim Ekibi üyelerinden birini denetimin kapsamı, amacı ve niteliğine göre Denetim Ekibi Lideri olarak belirler. Sözleşme ve Denetim ekibi Proje planları, süreçler ve sözleşmeyi dikkate alarak denetimlerle il- 4.1.2 Denetim soru Ekleri, Proje gili denetim soru listelerini hazırlar ve soru listeleri mevcut ise var olan soru listele- Denetim Soru Lis- listesini hazırla. Planları, Sü- rine ilişkin güncelleme ihtiyacını değerlendirip, gereken güncellemeleri yaparak teleri reçler soru listelerini nihai hâle getirir. 4.1.3 Denetim takvi- Denetim mini, kapsamını, Planı, Dene- Denetim Ekibi Lideri denetim takvimini ve kapsamını belirler ve bunu Denetim ajandasını belirle ve tim Soru Lis- Ajandası Formu’na uygun olarak yazılı hale getirir ve denetim ajandasını ilgili pay- Denetim Ajandası ilgili paydaşlara du- tesi daşlara iletir. yur. Denetim Denetim Ekibi Lideri denetim için giriş koşulları (denetime katılacak kişilerin za- 4.1.4. Denetimi tek- Denetim Ajandası, Ajandası, De- mansal olarak uygun olmaları ve denetimde dikkate alınacak iş ürünlerinin hazır ve rar planla. Denetim Planı netim Planı erişilebilir olmaları) oluşmadı ise denetimi tekrar planlar. Önceki Dene- tim Sonuçları, Denetim ekibi denetimi gerçekleştirmeden önce daha önce ilgili proje için yapılmış 4.1.5 Denetim hazır- Denetim Dikkate Alınması denetim sonuçlarını gözden geçirir ve açık kalan uygunsuzluklar ile varsa sonraki lığı yap. Ajandası, De- Gereken Hususlar denetimlerde dikkate alınması önerilen hususları belirler. netim Soru Listeleri 397 Denetim Ekibi denetim için giriş koşulları oluştu ve denetim hazırlığı tamamlandı ise denetim soru listelerini dikkate alarak ilgili proje personelinin de katılımı ile de- netimi gerçekleştirir. Zorunlu olmamakla birlikte denetimin başında tüm Denetim Taslak Denetim Ekibi ve Denetlenenlerin katılımı ile denetim başlangıç toplantısı yapılması ve dene- Sonuç Raporu timin kapsamı, amacı ve denetimin temel kuralları hakkında bilgilendirme yapılması İş Ürünleri, Doldurulmuş De- 4.1.6 Denetimi ger- önerilir. Denetim Soru netim Soru Liste- çekleştir. Listeleri leri Denetimin icrası sırasında objektif kanıtlar toplanır. Denetim Soru Listeleri’nde her bir soru için belirlenen “Objektif Kanıt”lar özellikle sorgulanır. Toplantı Katılımcı Denetim Ekibi Lideri Taslak Denetim Sonuç Raporu’nu ve (varsa) Uygunsuzluk Listeleri Raporu’nu oluşturmada temel teşkil edecek Uygunsuzluk Tanımlarını taslak olarak Denetim Sonuç Raporu’nda yazılı hâle getirir. 4.1.7 Uygunsuzluklar Denetim sonuç raporu ve varsa uygunsuzluk tanımlarının yazılı hâle getirilmesi De- ve denetim sonucu Taslak Dene- netim Ekibi Lideri’nin sorumluluğudur ancak bu işleri yaparken Denetim Denetim Sonuç hakkında ilgili pay- tim Sonuç Ra- Ekibi’nden destek talep edebilir. Raporu daşlarla uzlaş ve De- poru Taslak Denetim Sonuç Raporu hakkında ilgili proje personeli ile uzlaşmak üzere (Varsa) Uygun- netim Sonuç Ra- (Varsa) Taslak toplantı yapılır. suzluk Raporu poru’nu ve (varsa) Uygunsuzluk Denetim Sonuç Raporu ve (varsa) Uygunsuzluk Raporu nihai hâle getirilir ve proje- Toplantı Katılımcı Uygunsuzluk Ra- Raporu nin ve/veya enstitünün ilgili veri/bilgi depolama alanına kaydedilir. Listesi poru’nu nihai hâle getir. Denetim Ekibi Lideri varsa uygunsuzluk tanımlarını da içeren Denetim Sonuç Ra- poru’nu ilgili proje personeline, Kalite ve Süreç Yönetimi Bölüm Başkanına, Proje 4.1.8 Denetim So- Denetim So- Yöneticisine ve ilgili Enstitü Müdür Yardımcısı’na e-posta olarak iletir. E-posta nuçlarını ilet. nuç Raporu Kalite ve Süreç Yönetimi Bölüm Başkanı veya ilgili Enstitü Müdür Yardımcısı ge- rek görmeleri hâlinde denetim sonuçlarını Enstitü Müdürü’ne iletebilirler. 398 Uygunsuzluk Raporu 4.2.1 Uygunsuzluğa Uygunsuzluk Raporu ilişkin cevap ver PY / PYY Hayır Uygunsuzluğa istinaden düzeltici işlem / düzeltme gerekli mi? Evet Cevap ve tarih kabul edilebilir mi? 4.2.2 Uygunsuzluğa verilen cevabı ve alınacak işlem için Uygunsuzluk Raporu verilen tarihi Hayır değerlendir Evet Kalite Güvence Sorumlusu Uygunsuzluk Raporu 4.2.3 İşlemi kontrol için Uygunsuzluk Raporu takip tarihi belirle Kalite Güvence Sorumlusu Düzeltme Uygunsuzluk Raporu / Düzeltici Faaliyet 4.2.4 Tarihi geldiğinde alınan işlemi kontrol et Düzeltme / Düzeltici Faaliyet Hayır Kalite Güvence Sorumlusu Uygunsuzluk Raporu Düzeltme Düzeltme // Düzeltici Düzeltici Faaliyet Faaliyet Alınan işlem yeterli mi? Evet Uygunsuzluk Raporu 4.2.5 Uygunsuzluğu kapat Uygunsuzluk Raporu Kalite Güvence Sorumlusu Uygunsuzluk Veri Tabanı Şekil 4. Uygunsuzlukları Kapanana Kadar Takip Et Alt Süreç Şeması 399 Tablo 3. Uygunsuzlukları Kapanana Kadar Takip Et Alt Süreci İş Akışına İlişkin Faaliyet Adımları Faaliyet No/ Girdiler Faaliyetin Açıklaması Çıktılar Faaliyet Adı Proje Yöneticisi (PY) ve/veya PYY (Proje Yönetici Yardımcısı), uygunsuzluğa ilişkin bir değerlendirme yapar. Alınacak işlemleri ve sorumlularını belirler, alınacak işlemler 4.2.1 Uygunsuzluğa Uygunsuzluk Uygunsuzluk için bir miat belirler. Bu bilgileri Uygunsuzluk Raporu’na kaydeder ve bahse konu uy- ilişkin cevap ver. Raporu Raporu gunsuzluklara ilişkin bir işlem alınamadığı durumlarda, PY veya PYY durumu ve ge- rekçelerini Uygunsuzluk Raporu’na kaydeder. Kalite Güvence Sorumlusu uygunsuzluğa verilen cevabı ve alınacak işlem için verilen 4.2.2 Uygunsuzluğa tarihi değerlendirir. Eğer verilen cevap veya tarih kabul edilebilir değilse, Kalite Gü- verilen cevabı ve alı- Uygunsuzluk Uygunsuzluk vence Sorumlusu, PY veya PYY’den yeni bir cevap ve tarih talep eder ve gerekçele- nacak işlem için veri- Raporu Raporu rini PY / PYY ile paylaşır. Kriter uygunsuzluğa ilişkin fazla süre geçmeden ve alına- len tarihi değerlendir. cak değerini yitirmeden işlem alınmasıdır. 4.2.3 İşlemi kontrol Uygunsuzluk Kalite Güvence Sorumlusu ilgili işlemi kontrol için takip tarihi belirler ve bunu Uy- Uygunsuzluk için takip tarihi be- Raporu gunsuzluk Raporu’na kaydeder. Raporu lirle. Uygunsuzluk 4.2.4 Tarihi geldi- Raporu, Dü- Kalite Güvence Sorumlusu takip tarihi geldiğinde uygunsuzlukla ilgili alınan işlemi Uygunsuzluk ğinde alınan işlemi zeltmeler / Dü- kontrol eder. Alınan işlem yeterli ise uygunsuzluğu kapatır değil ise tekrar işlem alın- Raporu kontrol et. zeltici Faali- ması için PY’ ye yönlendirir. yetler Kalite Güvence Sorumlusu uygunsuzluğa istinaden düzeltici işlem / düzeltme gerekli 4.2.5 Uygunsuzluğu Uygunsuzluk Uygunsuzluk değil ise uygunsuzluğu açıklamayı kaydederek kapatır. Takip tarihi geldiğinde kontrol kapat. Raporu Raporu edilen uygunsuzlukla ilgili alınan işlem yeterli ise uygunsuzluğu kapatır. 400 3 Sonuç ve Öneriler Bu çalışmada, TÜBİTAK BİLGEM İLTAREN’de tesis edilen ve deneyimlerle sürekli iyileştirilerek olgun bir kıvama getirilen kalite güvence sürecinin denetimler ile ilgili kısmı hakkında açıklayıcı ve yön gösterici bilgiler paylaşılmıştır. Organizasyonlar veya konunun ilgilileri detayları verilen kurguyu kendi amaç ve hedeflerine göre uygun şe- kilde rafine ettikten sonra kullanabilecektirler. Öte yandan, bu bağlamda, proje seviyesinde uygulanan denetimlere ilişkin listelenen şu önemli hususlar paylaşılmaktadır:  İyi tanımlanmış ve uygulanan bir denetim mekanizması ile proje personelinin süreç- leri daha iyi kavraması ve benimsemesi sağlanabilmektedir.  Denetimler sayesinde önemli iyileştirme fırsatları yakalanmaktadır.  Denetim planlarına ilişkin zaman ve kaynak tahsislerinin, projenin ana planında ya- pılmasının ve sürekli takip edilmesinin, denetimlerin zamanında ve amacına uygun olarak yerine getirilmesine ve dolayısıyla istenen faydayı sağlamasına hizmet ede- ceği değerlendirilmektedir.  Denetim öncesinde soru listelerinin denetlenecek ekip ile paylaşılması sayesinde ki- şilerin denetimlere hazırlıklı gelmesi sağlanarak denetim kaygısı nispeten yenilebil- mekte ve denetim sonuçlarında uzlaşma açısından iyileşme sağlanmaktadır.  Denetim soru listelerinde soru, sorunun kaynağı ve görülecek objektif kanıt şeklinde çok iyi bir tanımlama yapılmasının süreci daha kolay ve objektif yaptığı deneyim- lenmiştir.  Denetim kapanış toplantıları sayesinde, denetlenen ekip ve denetim ekibi arasındaki olası görüş farklılıkları için çözüme gidilerek varsa uygunsuzlukların çözüm süreleri kısaltılabilmektedir.  Denetim sonuç raporlarının Enstitü Yönetimi ile paylaşılması sayesinde yönetimin desteğinin alınması ve kurum genelinde süreçlerin benimsenmesi sağlanmaktadır.  Süreç tanımlama dokümanları esas alınarak hazırlanan soru listelenenin ilgili süreç sahibi tarafından gözden geçirilmesi ve onaylanması yoluyla soru listelerinin doğru- luk ve tamlığından emin olmak uygun ve yararlı olmaktadır.  Tüm denetimler boyunca, amacın uygunsuzluk tespit etmek değil, uygunluğa dair kanıtlar toplamak olduğunun defaatle vurgulanması süreci daha yönetilebilir ve ayara sağlayan bir hâle getirmektedir.  Uygunsuzluklar ve önerilerin takibi için bir araç (tool) kullanımı sürecin yönetimini kolaylaştırmaktadır.  Özellikle uygunsuzluk tanımlamalarında kaynak, gerekçe, durum ve uygunsuzluk ifadesinin çok net ve objektif bir şekilde yeterli detayda verilmesi sürecin hesap ve- rebilirliğini ve yönetilebilirliğini arttırmaktadır.  Denetim planında üst seviye programı yapılan denetimlerin, denetim ajandaları sa- yesinde detaylandırılması tüm taraflar için tanımlı ve belirli bir bağlamın oluşmasına hizmet ederek, sürecin yönetimini kolaylaştırmakta ve taraflara güven vermektedir. 401 4 Referanslar 1. ISO/TC 176. (2011). Guidelines for auditing management systems (ISO 19011:2011). 2. ISO/IEC/IEEE. (2008). ISO/IEC 15288:2008(E) - IEEE Std 15288™-2008 - Systems and software engineering — System life cycle processes. 3. ISO/IEC/IEEE. (2008). ISO/IEC 12207:2008(E) - IEEE Std 12207™-2008 - Systems and software engineering — Software life cycle processes. 4. CMMI Product Team. (2010). CMMI® for Development, Version 1.3, CMMI-DEV, V1.3, Improving processes for developing better products and services, November 2010, TECHNICAL REPORT, CMU/SEI-2010-TR-033, ESC-TR-2010-033, Software Engineer- ing Process Management Program. 5. Pádua, W. (2009). Using Quality Audits to Assess Software Course Projects. 22nd Confer- ence on Software Engineering Education and Training. 162-165. DOI 10.1109/CSEET.2009.12 6. Hillo, R. V. & Weigand, H. (2016). Continuous Auditing & Continuous Monitoring: Con- tinuous Value? 978-1-4799-8710-8/16 ©2016 IEEE. 402