Kamu Kurumları için Süreç Yetenek Modeli Geliştirilmesi

Abstract

Özetçe. Kamu sektörünün kendine özgü özelliklerinden kaynaklı olarak kalite iyileştirme çalışmalarında problemlerle karşılaşılmaktadır. Bu problemleri çözmek için bilgi teknolojileri kullanılsa da, öncelikle iş süreçleri iyileştirilmeden yapılan bu çalışmalardan istenilen sonuçlar alınamamaktadır. Bu çalışmada kamu sektöründe iş süreçlerini iyileştirmek için gerekli olan yapının gereksinimleri belirlenmiş, literatürdeki kamuya özgü değerlendirme modelleri bu gereksinimleri sağlamaları açısından incelenmiştir. Yapılan inceleme sonucunda kamu kurumlarının süreç kalitesinin nasıl iyileştirileceğine dair yön gösterecek bir kılavuzun mevcut olmadığı, bu alanda çözümlere ihtiyaç duyulduğu tespit edilmiştir. Olgunluğa ulaşan yazılım süreç yeterlilik/olgunluk modellerinin özel alanlara uyarlanması ve bu yönde metodolojilerin geliştirilmesi de son zamanlarda organizasyonlarda en çok görülen trendlerden biridir. Bu bilgiler ışığında, bu çalışma kapsamında, kamu kurumlarında süreçleri tutarlı bir şekilde uygulamak, yönetmek ve diğer kamu kurumlarıyla ilişkisini kontrol edebilmek için ISO/IEC 15504 yapısını temel alan bir yaklaşımla, kamu kurumlarına özgü süreçlerin tanımlandığı ve yetenek seviyesinin ölçülerek, süreç iyileştirme yol haritasının ortaya konulduğu bir süreç yetenek modelinin geliştirilmesi önerilmektedir.

-

iyileştirme yapılmadan tüm hataları ile otomasyona geçirilmesidir”. Bu tespiti destekleyen ve kamu sektöründeki kurumsal yapının, BT-merkezli olmasını eleştirerek, iş-merkezliliğe doğru bir değişim geçirmesi gerektiğini öneren çalışmalar literatürde mevcuttur [5;6]. Fakat [ 7 ]’da da belirtildiği gibi kamu kurumlarında kaliteyi iyileştirmek için iş süreçlerinde yapılması gereken değişikliklerle ilgilenen sadece birkaç çalışma bulunmaktadır.

Bu çalışmanın amacı; kamu sektöründe iş süreçlerini iyileştirmek için gerekli olan yapının gereksinimlerini belirlemek, ardından literatürdeki kamu için geliştirilmiş kalite iyileştirme yapılarını inceleyerek bu gereksinimler açısından değerlendirmek ve çözüm oluşturacak bir model önermektir.

Makalenin sonraki kısımlarında, motivasyon’un ardından yapılan literatür taraması ve genel değerlendirmesine yer verildikten sonra, önerilen Kamuya Özgü Süreç Yetenek Modeli anlatılacaktır, son kısımda ise bu çalışmanın sonuçlarından bahsedilecektir. 2

Motivasyon

Kar-odaklı olmayan ve sınırsız bir talebe sahip olan kamu kurumlarında, çalışanının yargısına bağlı olarak düzensiz bir şekilde yürütülen süreçlerin sonucunda karşılaşılan problemleri şöyle sıralayabiliriz; x Verimsizlik x Düşük süreç performansı x Yüksek hata oranı x Çalışan memnuniyetsizliği x Vatandaş memnuniyetsizliği x Yüksek maliyet Bu problemleri çözmek amacıyla 1990’lı yıllarda kamu sektöründe Toplam Kalite Yönetimi (TKY) çalışmaları başlamıştır. Türkiye’de bu çalışmalar organizasyonel, bireysel yada departman seviyesinde kalmış, sistematik olarak tüm devlet yapısına uygulanamamıştır [ 8 ].

Günümüzde CMMI-DEV [ 9 ] , ISO/IEC 15504 [ 10 ] gibi yazılım sektörüne özgü olarak geliştirilmiş süreç iyileştirme modelleri mevcuttur. Bu modellerin sağladığı faydalar şu şekildedir [ 11 ]; x Artan, kestirilebilir kalite ve verimlilik x Artan süreç performansı x Azalan hata x Artan çalışan memnuniyeti, daha çok personel katılımı x Artan yatırım geri dönüş oranı x Artan müşteri memnuniyeti Görülen bu faydaların sonunda, bu modelleri temel alan yaklaşımla, ulusal/uluslararası, alana/sektöre özgü birçok süreç yetenek/olgunluk modelleri geliştirilmiştir [9;10]. Örnek olarak, Spice4Space [ 12 ] AutomotiveSPICE [ 13 ], Medi SPICE [ 14 ], Enterprise SPICE [ 15 ] ve CMMISVC[ 16 ] verilebilir.

Benzer bir yaklaşımla, kamu kurumları özgü, süreç tabanlı bir yaklaşıma sahip bir yetenek/olgunluk modeli ile süreçleri iyileştirilmesi sonucunda yukarıda sıraladığımız kamu kurumundaki problemler çözülebilir.

Böyle bir modelin üst düzey gereksinimlerini şu şekilde sıralayabiliriz; 1. Kamu kurumu, tüm süreçlerini bütün boyutlarından değerlendirebilmeli. 2. Kamu kurumu, mevcut durumdaki süreç yeteneklerini ölçebilmeli. 3. Kamu kurumu, süreç yetenek seviyesini arttırmak için rehberlik sağlayacak detaylı bir yol haritası elde edebilmeli. 4. Kamu kurumu, aynı modeli kullanarak kendi süreç yetenek seviyesi/ organizasyon olgunluk seviyesini diğer kurumlarla karşılaştırabilmeli. 5. Kamu kurumundaki süreç sahibi, modeli kolaylıkla kullanarak, ilgili sürecin yeteneğini ölçüp iyileştirme yol haritasını elde edebilmeli.

Bir sonraki kısımda, literatürde kamu için geliştirilmiş yapılar incelenerek, yukarıda bahsettiğimiz gereksinimleri sağlamaları açısından değerlendirilmektedir. 3

Literatür Taraması Bu kısımda, literatürdeki kamu kurumlarında kalite yönetimi ve kamuya özgü olgunluk modelleri incelenmiş, servis sektörüne uyarlanan yazılım süreç yetenek modeli olan CMMI-SVC[ 16 ] ile karşılaştırılmıştır. 3.1

Kamu Kurumlarında Toplam Kalite Yönetimi

Temel ilkeleri liderlik, performans ölçümü, ekip çalışması, sürekli gelişme, hataların önlenmesi, eğitim, müşteri odaklılık olan Toplam Kalite Yönetimi (TKY), “kalitenin tanımlanmasının” ve “somut olarak ölçülebilir hale getirilmesinin” öneminin altını çizmiş, “standartlaştırma”ya önem vermiş ve iş yapma yöntemlerinin, ürünlerin standartlarının dokümante edilip buna uyumun sürekli ölçülmesini sağlamıştır. TKY, 1988’de ISO 9000 [ 17 ] adı altında dünya çapında bir standart olarak yayınlamıştır. Türkiye’de Genelkurmay, THY, MEB, SSM vb. kurumlarda TKY uygulamaları yürütülmektedir [18;19].

Kamu kurumlarında TKY uygulaması literatürde tartışmalı bir konudur [20;21;22]. [ 21 ], TKY eğer “kamu sektörünün karakteristik özelliklerine uygun olarak modifiye edilirse” yararlı olacağını savunmaktadır. [ 23 ]’e göre de kamuda TKY uygulamasındaki temel sorun, kamu sektöründe sunulan hizmetlerin farklılık ve ölçülemezlik gibi özel yapısal özelliklerinden kaynaklanmaktadır [24;25]. Bu özelliklerden dolayı OECD ülkelerinde ISO 9001 sertifikasına sahip kamu kurumu sayısı sınırlıdır [ 26 ].

Ortak Ölçüm Yapısı (Common Assesment Framework) [ 27 ]; TKY ve Avrupa Kalite Yönetimi için Mükemmellik Modeli (EFQM) temel alınarak kamu için özel olarak geliştirilmiş bir değerlendirme ve ölçüm yapısıdır. AB üye ülkelerinin kamu yönetim kalitelerinin birbirleriyle karşılaştırmasını sağlayacak ortak bir çerçevenin bulunması amacıyla geliştirilmiştir. Değerlendirme kriterleri şunlardır; Liderlik, İnsan Kaynakları Yönetimi, Stratejik Planlama, Stratejik Ortaklıklar Ve Kaynaklar, Süreçler, Çalışanları Sonuçları, Müşteri Vatandaş Odaklı Sonuçlar, Toplumsal Etkisi, Performans Sonuçları. Değerlendirici her kritere/alt kritere puan vererek ölçüm yapar, ve bu alanlardaki eksikliklerini görebilir. [ 28 ]’de yapılan bir anket çalışmasına göre değerlendirmesi en zor kriterler performans sonuçları ve süreçler olarak belirtilmiştir. 3.2

Kamu Kurumlarına Özgü Olgunluk Modelleri

TKY sonrasında devletlerin dönüşüm ve modernleşme çalışmalarında Kurumsal Yapı (KY) ve E-Devlet uygulamaları yer almıştır [ 29 ]. Bu kısımda bu uygulamaların kalitesini iyileştirmek için geliştirilmiş olgunluk modellerine yer verilmiştir.

Kamu Kurumsal Yapı Olgunluk Modelleri.

KY, organizasyonel, bilgi ve teknoloji yapılarının, kurumu stratejilerini ve operasyonlarını nasıl desteklediğini anlatmaktadır. Kamu Kurumsal Yapıları (KKY) ise kamu kurumu için organizasyonel hedeflerini, bilgi ihtiyaçları ve kurumun teknolojik altyapısını tanımlar. KKY, iş, uygulama, bilgi, teknoloji,

Geliştiren

Son Versiyon

Kullanım Alanı

Ölçüm Detayı

Kritik Başarı Özelliği sayısı

Olgunluk Seviyesi Sayısı İlerleme Stratejisi

Sağladığı Fayda

EAMMF[ 32 ] ABD, Maliye Bak.

2003 Özel Düşük 4 5 Düşük

E2AMM [ 33 ] ABD, Geliştirme Enstitüsü 2006 Genel Yüksek 11 6

Düşük Standart şekilde seviyesinin belirlenmesi bir KY

Gereksiz ve yanlış veriyi azaltmak, Bilgi paylaşımını arttırmak güvenlik gibi katmanları ve bunlar arasındaki ilişkiyi yansıtan kamu için geliştirilmiş yapılardır. KKY’a örnek olarak Maliye Kurumsal Yapısı (TEAF) [ 30 ], Federal Kurumsal Yapısı (FEAF) [ 31 ] verilebilir.

Kamu Kurumsal Yapı Olgunluk Modelleri (KKYOM), KKY’ların iyileştirilmesini desteklemek için geliştirilmiş modellerdir. Belirli olgunluk seviyeleri ve bu seviyeler için Kritik Başarı Özelikleri (CSA) tanımlanmıştır. Olgunluk seviyesini arttırarak, KKY’larının performans ve verimliliğinin arttırılması hedeflenmektedir. Literatürdeki KKYOM’ler Tablo 1’de özetlenmiştir. Değişik kurumlar kendi KY’ları için geliştirdiği Özel modeller ya da Tüm federal devlet yapı için geliştirilen Genel modeller için değerlendirmeye alınan nitelik sayısına göre detay seviyeleri Düşük/Orta/Yüksek olarak gruplandırılmıştır. Değerlendirme sonucu bir sonraki seviyeye geçmek için sağladıkları ilerleme yol haritasına göre yine Düşük/Orta/Yüksek olarak gruplandırılmıştır.

Tablo 1. Kamu Kurumsal Yapı Olgunluk Modelleri Karşılaştırması

ACMM [ 34 ] ABD, Ticaret Bakanlığı 2008 Özel Orta 9 6 Düşük BT noktalarının tespiti

EAAF [ 35 ] ABD, Beyaz Saray Bütçe ve Harcama Birimi 2009 Özel Yüksek 13 6

Orta zayıf KY yönetimi sağlama, performans arttırma etkin

KY E-Devlet Olgunluk Modelleri.

E-devlet, devlet hizmetlerinin elektronik ortamda, güvenli, kesintisiz ve hızlı olarak ortak bir nokta üzerinden vatandaşa ulaştırılmasını sağlayan sistemdir. E-devlet sisteminin faydaları kurumlarda kırtasiyecilik, zaman kaybını azaltmak; hizmet maliyetleri düşürmek; bireysel katılımı artırmak, dolayısı ile demokratik kültürü geliştirmek; kurumlar arasındaki yoğun iletişim yinelemeleri azaltmak şeklinde sıralanabilir.

E-devlet olgunluk modelleri (EDOM), kamu kurumlarında e-devlet uygulamalarına geçiş için BT tabanlı bir değerlendirme yaparak, teknolojik, organizasyonel, işlevsel yeterliliğini değerlendirmektedir. EDOM’lerinde yapılan değerlendirme sonucu belirlenen olgunluk seviyesi arttıkça, e-devlet yapısı da daha çok gelişir. Örneğin; Birleşmiş Milletler’in 5 aşamalı Modeli [ 37 ]’nin aşamaları şu şekildedir; (1)Yeni geliştirilen: kamu kurumunun online bağlantısı var, (2)Geliştirilen: kamu sitelerinin sayısı artmış, daha dinamik bir yapı var, (3)Etkileşen: Kullanıcılar formları indirip, doldurup, e-posta ile gönderebilir. (4)Faaliyet gösteren: hizmeti online işlem yaparak sağlar. (5)Entegre: Tüm kamu kurmlarındaki elektronik servisler entegredir. Literatürde yer alan EDOM’ler tablo 2’de özetlenmiştir.

Tablo 2. E-devlet Olgunluk Modelleri

Yazar

Birleşmiş

Milletler [ 36 ] Gartner [ 37 ]

Siau and Yong’s

[ 38 ] /MAGENTA [ 39 ]

Deloitte&Touché

’s [ 40 ]

Yazılım Yetenek Olgunluk Modelleri Yazılım yetenek olgunluk modelleri (YYOM), yazılım mühendisliği alanında geliştirilmiş süreç yetenek seviyesi belirleme ve iyileştirme amacıyla kullanılan modelleri içermektedir. Örnek olarak, CMMI-DEV [ 9 ] , ISO/IEC 15504 [ 10 ] verilebilir. Modeller yazılım süreçlerinin temel karakteristiklerini detaylı bir şekilde tanımlamış olup, süreçler değerlendirilmesinin nasıl yapılacağı, her yetenek seviyesi için hangi özelliklerin/süreç alanlarının ve göstergelerin kontrol edileceğini detaylı bir şekilde anlatan, ayrıca süreç yeteneğinin ve organizasyon olgunluğunun nasıl arttırılacağına dair yön gösteren referans modellerdir. Böylece, plansız, tutarsız bir şekilde uygulanan süreçler disiplinli, tutarlı uygulanan süreçlere dönüştürülerek artan kalite ve verimlilik sağlanmaktadır. Aynı prensible, servis sektörü için özelleşen CMMISVC[ 16 ], aralarında kamu kurumları için en uygun olanıdır. 3.4

Genel Değerlendirme

Bu kısımda yapılan literatür taraması çalışmasındaki modeller kendi aralarında çeşit, hedef noktası, değerlendirme şekli, sağladığı fayda ve olgunluk iyileştirme yaklaşımları açısında karşılaştırılmıştır. Modelin, ilgili alanı kapsama derecesi düşük/orta/yüksek olarak belirtilmiştir. Aynı zamanda motivasyon başlığı altında sıralanan kamu süreçlerini iyileştirme modelinin gereksinimlerini sağlama dereceleri de düşük/orta/yüksek olarak belirtilmiştir.

Değerlendirme için seçilen modeller şu şekildedir; TKY için geliştirilmiş değerlendirme ve ölçüm aracı olan Ortak Ölçüm Yapısı (OÖY)[ 27 ], KKYOM’den tüm devlet yapısını kapsayan E2AMM[ 33 ], EDOM’den, kendinden sonra yapılan çalışmaları en çok etkileyen model olan Layne&Lee’nin modeli [ 41 ], YYOM’den, servis sektörü için özelleşen CMMISVC[ 16 ]. 1. Tüm boyutlarıyla süreçleri değerlendirebilme: OÖY’de TKY kapsamında tanımlanan süreçler/alt süreçler, süreç ölçüm kriterleri ile ana hatları ile süreçler değerlendirilir. E2AMM, işin hangi teknolojik altyapıyı kullanarak, nerelerden bilgi alacağını düzenleyen bir değerlendirme yapmaktadır. Layne&Lee, e-servis süreçlerine BT tabanlı bir değerlendirme yapmaktadır. CMMI-SVC ise servis süreçlerini detaylı bir şekilde değerlendirse de kamuya özgü süreçleri kapsamaz. Tablo 3. Genel Literatür Değerlendirmesi

E2AMM [ 33 ] Olgunluk İyileştirme ij e t a r t S

Planlama Finans

Yönetim

İş Uygulama Teknoloji

Proje Yön.

ı n a l A m a s p a K ı p a Y n o sya Kalite Yön. rep Hizmet Yön.

O 1.Tüm boyutlarıyla kamu süreçlerini değerlendirebilme 2.Mevcut durumdaki kamu süreç yeteneklerini ölçebilme r 3.Kamu Süreç yetenek leseviyesini arttırmak için bir inmyol haritası önerme i sk 4.Standart model ile diğer rekurumlarla kamu süreç eGyeteneği/organizasyon olgunluğu karşılaştırabilme 5. Kullanım kolaylığı, rahatlıkla kamu süreçleri iyileştirme yapabilmeyi sağlama

Yüksek Yüksek Yüksek Düşük Düşük Düşük Düşük Yüksek Orta Orta Orta Orta Orta Yüksek

Düşük Düşük Orta Yüksek Yüksek Yüksek Düşük Düşük Orta Düşük Düşük Düşük Orta Orta

Her seviyenin içeriği ve sağladığı fonksiyonlar tanımlı. Seviye belirlenerek, iyileşme önerileri oluşuyor

Düşük Orta Orta Orta Yüksek Yüksek Düşük Orta Yüksek Düşük Düşük Orta Orta Orta

CMMISVC [ 16 ] Süreçmerkezli Süreç İyileştirme Süreçler, Yetenek seviyeleri x Performan s Artması x Maliyet Azalması x Kalite artması Detaylı bir yol haritası sağlıyor

Orta Orta Orta Yüksek Yüksek Orta Yüksek Yüksek Yüksek Orta Orta Orta Orta Yüksek 2. Mevcut durumdaki süreç yeteneklerini ölçebilme: OÖY, süreçlerin belirlenmesi, planlanması ve yönetilmesini ölçer. E2AMM, karakteristikleri kontrol ederek, KY’nın seviyesini ölçerken, Layne&Lee ise teknolojik altyapıyı kontrol ederek, e-devlet yapısının seviyesini ölçmektedir. CMMI-SVC, servis süreçleri detaylı bir şekilde ölçer, fakat kamuya özgü süreçlerden yoksundur. 3. Süreç yetenek seviyesini arttırmak için bir yol haritası önerme: OÖY, Süreç yetenek seviyesini ölçmese de, süreçlerin planlanması ve yönetilmesi aşamasında ISO 9004 standardına referans vermektedir. E2AMM sadece standart bir şekilde KY seviye belirlemesini sağlarken iyileşme için herhangi bir dökümana referans vermemektedir. Layne&Lee’de, süreç bazında bir yaklaşım olmasa da bir sonraki seviyeye çıkmak için hangi fonksiyonların sağlanması gerektiği bilgisini sağlamaktadır. CMMI-SVC ise kamuya özgü süreçleri kapsamasa da süreç iyileştirmek için detaylı referans sağlar. 4. Standart model ile diğer kurumlarla süreç yeteneği/organizasyon olgunluğu karşılaştırabilme: OÖM,E2AMM, Layne&Lee standart modeller oldukları için süreç yeteneği/organizasyon olgunluğu karşılaştırılmasını kapsamasalar da kalite yönetim yapısı, KY ve e-devlet yapısı diğer kurumlarla karşılaştırılabilinir. CMM-SVC’da ise kamuya özgü süreçleri kapsamasa da süreç yeteneği/organizasyon olgunluğunu karşılaştırılabilir. 5. Kullanım kolaylığı, rahatlıkla süreç iyileştirme yapabilmeyi sağlama: OÖM, ISO 9000 standartlarına referans verdiği için kullanımı kolaydır. E2AMM, Layne&Lee, ölçüm yapmak ve iyileştirme listesi elde etmek kolaydır ama iyileştirmenin nasıl yapılacağına dair herhangi bir dökümana referans vermezler. CMMI-SVC ise detaylı bir iyileştirme yol haritası sunar. Yapılan analiz sonunda, literatürdeki mevcut modellerin bu gereksinimleri tam anlamıyla karşılayamadıkları, kamuya özgü bir süreç yetenek/olgunluk modelinin geliştirilmesine ihtiyaç olduğu tespit edilmiştir. Bu çalışma kapsamında; literatürde tespit edilen bu ihtiyacı geliştirilen Kamu Süreç Yetenek Modeli (KSYM) ile doldurmak önerilmektir.

4

Kamu Süreç Yetenek Modeli Bu kısımda, yapılan geliştirilmesi önerilen KSYM’nin temel hatları anlatılacaktır. KSYM, süreç yetenek seviyesi belirlendikten sonra sağlanan bir kılavuz ile iyileştirilmiş süreçler sayesinde kamu kurumlarında sağlanan servisler arasında tutarlılığı sağlayacak, diğer devlet kurumlarıyla ilişkisini kontrol edebilecek ve mevcut sistemde yapılan hata oranını azaltarak, yapılan işin kalitesini artıracak kamu sektörü için özel olarak geliştirilmiş, süreç- tabanlı bir yetenek/olgunluk modelidir.

Literatürdeki çalışmaların KSYM’ye katkıları Şekil 1’de gösterilmiştir. KSYM, TKY’nin temel prensipleri üzerine kurulmuş, OÖY [ 27 ] gibi kamu kurumlarına özgü ve aralarında kıyaslamayı sağlayacak ancak süreç iyileştirme konusunda daha detaylı bilgi verecek, bunu da YYOM’lerindeki gibi bir süreç yetenek değerlendirme mekanizmasına sahip olarak yapacak bir yapıdır. Bunun sonucunda standart bir KY oluşması ve e-servis kalitesinin artmasının da sağlanması hedeflenmektedir.

Ortak Ölçüm Yapısı

Toplam Kalite Yönetimi

Yazılım Yetenek Olgunluk

Modeli Süreç ve Çıktı Ölçümü

Kalite İyileştirme Hedefi

Süreç İyileştirme Yaklaşımı Kamu Kurumlarını Kıyaslama

Süreç Değerlendirme Mekanizması

KAMU SÜREÇ

YETENEK MODELİ Standart Kamu Kurumsal Yapısı

Kamu Kurumsal

Yapı Olgunluk Modelleri

E-servis Kalitesi

E-Devlet Olgunluk

Modelleri Şekil 1. Kamu Süreç Yetenek Modelinin Literatür ile ilişkisi Önerilen KSYM’nin yapısı, 2 boyuta sahiptir; -Süreç Boyutu; Kamu süreçlerinin ISO/IEC TS 15504-2:2012 [ 10 ] standardına uygun olarak tanımlanması ile elde edilen Kamu Süreç Referans Modeli (KSRM) ile oluşmaktadır. Kamu kurumuna özgü süreçler ve kamu kaynaklarının kullanılması ve destek süreçleri olarak 2 ana gruba ayrılan kamu süreçlerinin tanımlarını içerir. -Yetenek Boyutu; ISO/IEC TS 15504-2:2012 [ 10 ] standardında olduğu gibi süreci yönetmek ve iyileştirmek için gerekli olan, altı yetenek seviyesinin herbiri için belirlenen, her sürece uygulanabilien ve ölçülebilen karakteristikleri içermektedir. Kamu sektöründe kaliteyi arttırmak için, kamuya özgü süreç tabanlı yetenek/olgunluk modeli ihtiyacı yapılan analiz sonucunda tespit edilmiş olup, bu ihtiyacı karşılamaya yönelik geliştirilen modelin çerçevesi oluşturulmuştur.

Gelecek çalışmalar; KSRM’ini oluşturarak, kullanıcı tarafından kolaylıkla sürecin tanımlanmasını ve değerlendirmesini sağlayacak bir rehber oluşturmak ve vaka analizi çalışmaları yaparak, modelin uygunluğunu, uygulanabilirliğini ve yararını analiz etmektir. 6

Kaynaklar

References

[1] Teicher 2002 E-government a new route to public sector quality

[2] Hutton , G. ( 1996 ) ``Business process re-engineering a public sector view'', in Armistead , C. And Rowland , P . (Eds), Managing Business Processes BPR and Beyond , John Wiley and Sons, Chichester

[3] Indihar Stemberger , M. , & Jaklic , J. ( 2007 ). Towards E-government by business process change-A methodology for public sector . International Journal of Information Management , 27 ( 4 ), 221 - 232 .

[4] Acar , M. , & Kumaş , E. ( 2008 ). TÜRKYE'NN DÖNÜŞÜM SÜRECNDE ANAHTAR BR MEKANZMA OLARAK e-DEVLET, e-DÖNÜŞÜM VE ENTEGRASYON STANDARTLARI .

[5] Isomäki , H. , & Liimatainen , K.. “ Challenges of Government Enterprise Architecture Work - Stakeholders' Views” , In M.A. Wimmer , H.J. Scholl , & E. Ferro (Ed.), International Conference on Electronic Government, LNCS 5184 , 364 - 374 . 2008 .

[6] Hjort-Madsen , K. , & Gotze , J. “ Enterprise Architecture in Government - Towards a multi-level framework for managing IT in government” , Proceedings of European Conference on e-Government , Dublin, Ireland, 365 - 374 . 2004

[7] W. Bradford Rigdon , “Information Management Directions: The Integration Challenge,” Chapter 7 in Architecture and Standards (Gaithersburg, MD: NIST , Information Systems Engineering Division, U.S. Department of Commerce, National Technical Information Service , 1989 ).

[8] Üstüner , Y. , & Coşkun , S. ( 2004 ). Quality management in the Turkish public sector: a survey . Public administration and development , 24 ( 2 ), 157 - 171 .

[9] Software Engineering Institute (SEI), CMMI Product Team, CMMI® for Development, Version 1 .3, “ Improving processes for developing better products and services” . TECHNICAL REPORT , CMU/SEI-2010 - TR-033, ESC-TR- 2010-033, Software Engineering Process Management Program. 2010 .

[10] ISO/IEC 15504, composed of seven parts (15504-1 to 15504-7) parts. under the general title Information technology - Process assessment . 2008

[11] SEI , 2003 Demonstrating the Impact and Benefits of CMMI®:An Update and Preliminary Result Available: shttp://repository.cmu.edu/cgi/viewcontent.cgi?article=1540&context=sei

[12] A. Cass et al. 2004 . SPICE for SPACE Trials, Risk Analysis, and Process Improvement . Software Process: Improvement and Practice , vol. 9 , no. 1 , pp. 13 - 21 .

[13] Automotive SIG. ,2007 Automotive SPICE - Process Assessment Model. (May 2007 ) [Online] = http://www.itq.ch/pdf/AutomotiveSPICE_PAM_v23.pdf

[14] McCaffery , F. , Dorling , A. 2010 . Medi SPICE Development, Software Process Maintenance and Evolution: Improvement and Practice Journal. Volume 22 Issue 4 , 255 - 268 .

[15] Ibrahim , L. 2008 . Improving Process Capability Across Your Enterprise, 4th World Congress on Software Quality (4WCSQ) , Bethesda/USA.

[16] Forrester , E. , Buteau , B. , & Shrum , S. ( 2011 ). CMMI for services: guidelines for superior service . Pearson Education . Chicago

[17] ISO 9001 2008 Quality management systems - Requirements

[18] Akalın E. 1999 . Yerel yönetimlerde Toplam Kalite ve Değirmendere Belediyesi uygulamaları . Kamu Yönetiminde Kalite 1 . Ulusal Kongresi Bildirileri , Cilt 1 . TODAIE: Ankara; 371 - 378

[19] Efelerli S. 2001 . Yurtsever bir değişim: TKY. 2. Kamu Kalite Sempozyumu . KalDer: Istanbul; 56 - 59 .

[20] Deming E. 1994 . Out of the Crisis . MIT Center for Advanced Engineering Study: Cambridge.

[21] Swiss J. 1992 . Adopting TQM to government . Public Administration Review 52 ( 4 ): 352 - 356

[22] Rago W. 1994 . Adopting Total Quality Management (TQM) to government: another point of view . Public Administration Review54(1) : 61 - 64 .

[23] Enstitüsü , G. Y. T. , Finans , M. , & Birimi , İ. Kamu Mali Yönetiminin ISO 9001 Kalite Yönetim Sistemine Entegrasyonu.

[24] Parasuraman , A. and Valarie A . Zeithaml ( 1982 ), "Differential Perceptions of Suppliers and Clients of Industrial Services," in Emerging Perspectives on Services Marketing , L. Berry , G. Shostack, and G. Upah, eds., Chicago: American Marketing, 35 - 39 .

[25] Zeithaml , Valarie A. ( 1981 ), "How Consumer Evaluation Processes Differ between Goods and Services," in Marketing of Services , J. Donnelly and W. George, eds., Chicago: American Marketing, 186

[26] [Saner, R. ( 2002 ). Quality assurance for public administration: a consensus building vehicle . Public Organization Review , 2 ( 4 ), 407 - 414 .]

[27] EIPA , The Common Assessment Framework (CAF) Improving An Organization Through SelfAssessment , European Institute of Public Administration, 2013 .

[28] Lucio Cappelli , Roberta Guglielmetti, Giovanni Mattia, Roberto Merli, Maria Francesca Renzi, ( 2011 ) "Peer evaluation to develop benchmarking in the public sector" , Benchmarking: An International Journal , Vol. 18 Iss: 4, pp. 490 - 509

[29] Pollitt , C. & Bouckaert , G. ( 2004 ). Public Management Reform . Oxford University Press

[30] Department of the Treasury (CIO (Chief Information Officer ) Council), Treasury Enterprise Architecture Framework, Version 1 , July 2000 , 2000 , http://www.eaframeworks.com/TEAF/teaf.doc

[31] CIO (Chief Information Officer) Council , A Practical Guide to Federal Enterprise Architecture, Version 1 .0, ( February 2001 ).

[32] Saha , P. ( 2009 ). A Methodology for Government Transformation with Enterprise Architecture . Advances in Government Enterprise Architecture , 1 - 29 .

[33] IFEAD ( 2004 ). Extended Enterprise Architecture Maturity Model (E2AMM) v2 . 0

[34] TOGAF ( 2009 ), “Architecture Capability Maturity Model” , in TOGAF Version 9 , The Open Group Architecture Framework,

[35] U.S. Office of Management and Budget: Enterprise Architecture Assessment Framework (EAAF) , http://www.whitehouse.gov/omb/e-gov/eaaf

[36] United Nations and American Society for Public Administration ( 2001 ), Global Survey of Egovernment, available at: www.unpan. org/egovernment2.asp. (accessed 5 October 2003 ), .

[37] Baum , C. , Di Maio , A. ( 2000 ), Gartner's Four Phases of E-Government Model , Gartner Group, Research Note, available at: http://aln.hha.dk/IFI/Hdi/2001/ITstrat/Download/Gartner_eGovernment.pdf.

[38] Siau , K. , Long , Y. ( 2004 ), "A stage model for e-government implementation" , paper presented at the 15th Information Resource Management Association International Conference (IRMA'04) , New Orleans, LA, 23 -26 May, pp. 886 - 7 .

[39] Saha , P. ( 2009 ). A Methodology for Government Transformation with Enterprise Architecture . Advances in Government Enterprise Architecture , 1 - 29 .

[40] Deloitte and Touche (2001), "The citizen as customer" , CMA Management , Vol. 74 No. 10 , pp. 58 .

[41] Layne , K. , Lee , J. ( 2001 ), "Developing fully functional e-government: a four stage model" , Government Information Quarterly , Vol. 18 No. 2 , pp. 122 - 36 .

[42] Andersen , K. V. , & Henriksen , H. Z. ( 2006 ). e-Government maturity models: Extension of the Layne and Lee model . Government information quarterly , 23 ( 2 ), 236 − 248

[43] Hiller , J. , Bélanger , F. ( 2001 ), Privacy Strategies for Electronic Government, PricewaterhouseCoopers Endowment for the Business of Government, Arlington , VA, E-Government Series , .

[44] Moon , M.J. ( 2002 ), "The evolution of e-government among municipalities: rhetoric or reality?", Public Administration Review , Vol. 62 No. 4 , pp. 424 - 33 .