<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>İstatistiksel ve Makine Öğrenimi Yöntemleriyle Kredi Skorlama</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Bilgisayar Mühendisliği Bölümü</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>İstanbul</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Ar-Ge Merkezi</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Cybersoft</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>İstanbul yunus.emre.demirbulut@std.yildiz.edu.tr</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>aktas@yildiz.edu.tr</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>kalipsiz@yildiz.edu.tr</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>selcuk.bayraci@cybersoft.com.tr</string-name>
          <xref ref-type="aff" rid="aff0">0</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Anahtar Kelimeler: Kredi Skorlama</institution>
          ,
          <addr-line>Makine Öğrenimi, İstatistik, Regresyon, Kredi Riski</addr-line>
        </aff>
      </contrib-group>
      <fpage>273</fpage>
      <lpage>284</lpage>
      <abstract>
        <p>Özet. Kredi riski bankacılık sektöründe kritik risklerden bir tanesi olması sebebiyle, finans kuruluşları kredi verme konusunda karar verme aşamasında banka personeline yardımcı olan sistemlerin geliştirilmesine önem vermektedir. Bankalar, kredi talep eden müşterilerine kredi vermeden önce çeşitli kredi değerlendirme modellerine başvurmaktadır. Kredi skorlama çalışmalarında yaygın olarak kullanılan makine öğrenme ve istatistiksel teknikler incelenmiştir. Bu çalışmada kredi skorlama sistemlerinde kullanılabilecek farklı algoritmalar incelenmiştir. Bu araştırmada, kredi talebinde bulunan müşterilerin kredi isteğinin onaylanması veya geri çevrilmesi kararının verilmesini kolaylaştıracak bir sistem geliştirilmiştir. Geliştirilen sistem K En Yakın Komşu (KNN), C4.5 Ağacı, Yapay Sinir Ağı, Destek Vektör Makinesi (SVM), Lojistik Regresyon, Probit Regresyon, Poisson Regresyon ve Genelleştirilmiş Katkı Modeli (GAM) yöntemlerinin karşılaştırılmasını sunmaktadır. Her bir algoritmadan elde edilen sonuçlar müşterinin kredi skorunun tespit edilmesine imkân sunmaktadır. Ayrıca geliştirilen sistem kuruluşların kar oranının da artmasına olanak sağlamaktadır.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>1 Computer Engineering Department, Electrical-Electronic Faculty</p>
      <p>Yıldız Technical University, İstanbul
2 Ar-Ge Center, Cybersoft, İstanbul
yunus.emre.demirbulut@std.yildiz.edu.tr, aktas@yildiz.edu.tr,
kalipsiz@yildiz.edu.tr, selcuk.bayraci@cybersoft.com.tr
Kredi endüstrisindeki genişleme müşteri sayısını ve buna bağlı olarak bankalara olan
kredi talebini artırmıştır. Artan talepler tüketici kredisi piyasasındaki rekabeti ciddi bir
boyuta getirmiştir. Finansal kuruluşların, başvuruda bulunan müşterilerin kredilerini
zamanında ödeyip ödeyemeyeceğini öngörmesi kritik önem arz etmektedir. Çünkü,
bankaların ana gelir kaynağı, müşterilerine verdiği kredilerden gelen faiz gelirleridir.
Müşterilerin kredilerini ödeyememesi durumunda banka para kaybına uğramaktadır.</p>
      <p>Kredi skorlaması yukarıda bahsedilen sorunun yaşanmaması veya minimum
seviyede yaşanması için kullanılan en yaygın çözümdür. Bankalar, kredi başvurusunda
bulunan müşterinin nicel ve nitel verilerini kullanarak, çeşitli kredi skorlama modelleri
vasıtasıyla müşterinin risk profilini çıkarmaktadır. Bu değerlendirmeler sonucunda
kredi talebi onaylanmakta veya reddedilmektedir. Kredi skorlama modelleri
aracılığıyla müşterinin temerrüt olasılığı hesaplanabilmekte veya müşteriler farklı temerrüt
gruplarına ayrılabilmektedir. Bireysel krediler için kredi skorlama modellerinin
kullandığı müşteri özellikleri, gelir düzeyi, sahip olunan varlıklar, yaş ve iş bilgisi
bulunmaktadır. Kurumsal kredilerde ise borç-özsermaye gibi finansal oranlar önem
kazanmaktadır.</p>
      <p>Literatürde kredi skorlama için farklı yöntemler kullanılmasına rağmen, hangi
yöntemin daha iyi sonuç verdiğine dair bir uzlaşı sağlanamamıştır. Bu açıdan, farklı
yöntemler kullanmak ve performanslarını karşılaştırmalı olarak test etmek, sağlam ve
doğru risk fiyatlaması yapmak açısından önemlidir. Bu çalışmada, bireysel tüketici
kredilerinin riskini hesaplamak ve müşterileri geri ödeme durumlarına göre
değerlendirmek amacıyla istatistiksel ve makine öğrenimi bazlı 8 farklı sınıflandırma yöntemi
kullanılmıştır. Araştırma kapsamında kullanılan istatistiksel algoritmalar; Lojistik
Regresyon, Probit Regresyon, Poisson Regresyon ve Genelleştirilmiş Katkı Modelidir.
Makine öğrenimi algoritmalarından; k-En Yakın Komşular, C4.5 Karar Ağacı, Destek
Vektör Makineleri (DVM) ve Yapay Sinir Ağları (YSA) kullanılmıştır. Algoritmaların
karartılmış bankacılık veri setleri üzerinde koşturulması sonucu elde edilen sonuçlar,
Duyarlılık, Özgüllük, Doğruluk, ROC Eğrisi Altında Kalan Alan, Gini Katsayısı ve
Zaman olmak üzere 6 farklı metriğe göre karşılaştırılmıştır.</p>
      <p>Bildirinin devam eden bölümlerinde sırasıyla; Bölüm 2’de; kredi skorlama
hakkında daha önceden yapılmış benzer çalışmalar anlatılacaktır. Bölüm 3’te;
kullanılan istatistiksel ve makine öğrenimi algoritmalarının tanımı yapılacak ve kredi skorlama
modellerinin nasıl karşılaştırıldığı açıklanacaktır. Bölüm 4’te; yapılan çalışma
değerlendirilecek. Bölüm 5’te; uygulamaya ait sonuçlar incelenecek ve gelecek çalışmalar
hakkında tavsiyelerde bulunulacaktır.
2</p>
      <p>İlgili Çalışmalar
Literatür incelendiğinde, kredi skorlama konusu üzerinde yapılmış birçok çalışma
bulunmaktadır.</p>
      <p>
        Altman [
        <xref ref-type="bibr" rid="ref5">5</xref>
        ] tarafından gerçekleştirilen bir başka çalışmada, kurumsal iflas
öngörüsü problemi için geleneksel oran analizi yöntemleri yerine diskriminant analiz
yöntemi kullanılmıştır. Diskriminant analiz modeli, iflas etmiş ve iflas etmeyen grupların
sınıflandırmasında %95 doğruluk oranına ulaşmıştır.
      </p>
      <p>
        Salome Tabagari [
        <xref ref-type="bibr" rid="ref1">1</xref>
        ] tarafında yapılan çalışmada, müşterilerin kredi
skorlarının nasıl hesaplanacağını göstermek için bir bankaya ait ve kredi talebinde bulunan 500
müşterinin bilgilerinden oluşan bir veri seti kullanılmıştır. Bu amaçla en sık kullanılan
metotlardan bir tanesi olan lojistik regresyon yöntemi kullanılmıştır. Yapılan çalışma
sonucunda %82,8 değerinde doğruluk elde edilmiştir.
      </p>
      <p>
        Desai [
        <xref ref-type="bibr" rid="ref2">2</xref>
        ] tarafından yapılan araştırmada, YSA, doğrusal diskriminant analizi
(LDA) ve Lojistik Regresyon olmak üzere 3 farklı algoritma kullanılmıştır. Çalışmada
kullanılan veri seti 3 farklı kredi birliğinden toplanan ve kredi talebinde bulunan
müşterilere ait bilgilerden oluşmaktadır. Çalışma sonucunda, kötü sınıfa ait kredilerin
sınıflandırılmasında YSA yüksek doğruluk oranı sunmaktadır. Bununla birlikte, iyi ve kötü
sınıfa ait kredilerin sınıflandırılmasında Lojistik Regresyon ve YSA yakın sonuçlar
içermektedir. LDA yönteminin sonuçları ise diğer algoritmaların oldukça gerisinde
kalmıştır.
      </p>
      <p>
        Moares [
        <xref ref-type="bibr" rid="ref3">3</xref>
        ] tarafından yapılan çalışmada, müşterilerin kredi profillerini iyi
veya kötü olarak sınıflandırmak için C4.5 karar ağacı ve YSA kullanılmıştır. Yapılan
çalışma sonucunda, C4.5 karar ağacı ile %90.07 doğruluk oranı elde edilmiştir. YSA
ise %95,58’lik bir doğruluk oranı sunmuştur.
      </p>
      <p>
        Ceren [
        <xref ref-type="bibr" rid="ref4">4</xref>
        ] tarafından yapılan çalışmada, şirketlerin başarısızlığını finansal
oranlara dayanarak öngörmek için DVM algoritmasını uygulamış ve sonuçları Lojistik
Regresyon ile karşılaştırmıştır. DVM algoritmasının doğruluğunun artırılması için
çalışmada ızgara arama yöntemi kullanılmıştır. Çalışma sonucunda DVM algoritması ile
%75 oranında doğruluk değeri elde etmiştir. Buna karşın Lojistik Regresyon ile %71,8
oranında doğruluk değerine ulaşmıştır.
      </p>
      <p>
        Bart [
        <xref ref-type="bibr" rid="ref6">6</xref>
        ] tarafından yapılan araştırmada, kredi skorlaması için en gelişmiş
sınıflandırma algoritmaları karşılaştırılmıştır. Çalışma sonucunda, 41 farklı
sınıflandırıcının sınıflandırma performansı, gerçek dünya kredi skorlama veri setleri ile
karşılaştırılmıştır. Sonuçlara göre YSA algoritmalarının en güçlü sınıflandırıcı olduğu tespit
edilmiştir.
      </p>
      <p>
        Yang [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ] tarafında yapılan bir çalışmada ise, bir çekirdek öğrenme algoritması
temelinde yeni bir uyarlanabilir kredi skorlama tekniği sunulmuştur. Bu yöntem, gerçek
hayatta doğrusal olmayan kredi skorlama görevlerini kolaylaştırmaktadır. Ayrıca veri
ön işleme ve değişken analiz için zaman maliyetinin azaltılmasına yardımcı olmaktadır.
3
      </p>
    </sec>
    <sec id="sec-2">
      <title>Metodoloji</title>
      <p>Geliştirilen yazılımda, bankacılık alanındaki veri setleri aracılığıyla kredi skorlama
modelleri oluşturmak ve bu modellerin uygunluğunu karşılaştırmak için sekiz farklı
algoritma kullanılmıştır. Sekiz algoritmanın dört tanesi istatistiksel algoritmalardan, geri
kalan dört tanesi ise makine öğrenimi algoritmalarından seçilmiştir. İstatistiksel
algoritmalar için Lojistik Regresyon, Probit Regresyon, Poisson Regresyon ve
genelleştirilmiş katkı modeli yöntemleri tercih edilmiştir. Makine öğrenimi algoritmalarından ise
K En Yakın Komşu, C4.5 Karar Ağacı, DVM ve YSA kullanılmıştır. Kullanılan
algoritmalar ile ilgili bilgiler Bölüm 3.1 ve Bölüm 3.2’de yer almaktadır. Sistemin genel
mimarisi Şekil 1’de gösterilmektedir.</p>
      <p>Girdi: Kredi
Skorlama Veri Seti</p>
      <p>Çıktı: En İyi
Özellikli Veri Seti</p>
      <sec id="sec-2-1">
        <title>En İyi Özellik Belirleme Kütüphanesi</title>
        <p>K En Yakın</p>
        <p>Komşu</p>
      </sec>
      <sec id="sec-2-2">
        <title>Destek Vektör Makinesi C4.5 Karar Ağacı</title>
        <p>
          Lojistik Regresyon [
          <xref ref-type="bibr" rid="ref8">8</xref>
          ] (Bknz. Şekil 2), bağımlı değişkeni ikili (binary) yapıda olan
veri setleri üzerinde uygulanacak bir regresyon analizidir. Diğer tüm regresyon
analizlerinde olduğu gibi, lojistik regresyon da bir tahmin analizidir. Lojistik regresyonda
amaç, ikili yapıdaki bağımlı değişken ile bağımsız değişkenler arasındaki ilişkiyi en
uygun şekilde açıklayan modelin bulunmasıdır. Lojistik regresyon ile sınıflandırma
yapılırken modele ait her bir beta katsayısı Formül 1’deki formülde yerine yazılarak elde
edilir.
        </p>
      </sec>
      <sec id="sec-2-3">
        <title>Algoritma 1: Lojistik Regresyon</title>
        <p>Başla
Her bir özellik için beta katsayısını sıfıra eşitle
Repeat
a.</p>
        <p>Güncel beta katsayılarını kullanarak Logit fonksiyonunu (Formül 1) veri
setindeki tüm örnekler için sırasıyla çalıştır ve elde edilen sınıf
bilgilerini gerçek sınıf bilgisinden çıkararak hata miktarını hesapla.
b. Veri setindeki her bir örneğe ait hata miktarını topla.
c. Toplam hata miktarını öğrenme katsayısı ile çarp ve sonucu tüm beta</p>
        <p>katsayılarından çıkar.</p>
        <p>d. Adım C’de elde edilen sonuç ile beta katsayılarını güncelle.</p>
        <p>Until Beta katsayıları yakınsayana kadar.</p>
        <p>Bitir</p>
        <p>
          Şekil. 2. Lojistik regresyona ait sözde kod
ln
#
$%#
= ) + $Χ$ + ,Χ, + ⋯ + .Χ.
(1)
Poisson Regresyon [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ] (Bknz. Şekil 3), düzenli çoklu regresyonlara benzemektedir.
Bağımlı değişken ise Poisson dağılımını (Bknz. Formül 2) izleyen gözlenen bir sayıdır.
Böylece bağımlı değişkenin olası değerleri negatif olmayan tamsayılardır. Dolayısıyla,
Poisson regresyon, lojistik regresyona benzerlik göstermektedir. Fakat bağımlı
değişkenler lojistik regresyondaki gibi sınırlı değildir.
        </p>
        <p>Algoritma 2: Poisson Regresyon</p>
        <p>Başla
Her bir özellik için beta katsayısını sıfıra eşitle
Repeat
a.</p>
        <p>Güncel beta katsayılarını kullanarak Poisson Dağılımı (Formül 2)
fonksiyonuna ait  değerini 0 ve 1 çıktı değeri için hesapla.
b. En yüksek olasılığa sahip sonucu seç.
c. Adım B işlemini veri setindeki tüm örnekler için sırasıyla çalıştır ve elde
edilen sonuçları gerçek sınıf bilgisinden çıkararak hata miktarını
hesapla.
d. Veri setindeki her bir örneğe ait hata miktarını topla.
e. Toplam hata miktarını öğrenme katsayısı ile çarp ve sonucu tüm beta</p>
        <p>katsayılarından çıkar.</p>
        <p>f. Adım E’de elde edilen sonuç ile beta katsayılarını güncelle.</p>
        <p>
          Until Beta katsayıları yakınsayana kadar.
Şekil. 3. Poisson regresyona ait sözde kod
Probit Regresyon [
          <xref ref-type="bibr" rid="ref10">10</xref>
          ] (Bknz. Şekil 4), ikili yapıdaki sonuç değişkenine sahip veri
setleri üzerinde regresyon yapılmasını sağlar. Probit regresyon, bir değerin olası ikili
sonucundan birine düşme ihtimalini hesaplar. Regresyon yöntemlerinden bir tanesi
olan lojistik regresyona oldukça benzemektedir. Fakat probit regresyonda sınıflandırma
standart normal dağılım (Bknz. Formül 3) ile hesaplanır.
        </p>
      </sec>
      <sec id="sec-2-4">
        <title>Algoritma 3: Probit Regresyon</title>
      </sec>
      <sec id="sec-2-5">
        <title>Her bir özellik için beta katsayısını sıfıra eşitle</title>
      </sec>
      <sec id="sec-2-6">
        <title>Repeat a. b. c.</title>
        <p>Güncel beta katsayılarını kullanarak Standart Normal Dağılım
fonksiyonunu (Formül 3) veri setindeki tüm örnekler için sırasıyla çalıştır ve elde
edilen sınıf bilgilerini gerçek sınıf bilgisinden çıkararak hata miktarını
hesapla.</p>
        <p>Veri setindeki her bir örneğe ait hata miktarını topla.</p>
        <p>Toplam hata miktarını öğrenme katsayısı ile çarp ve sonucu tüm beta
katsayılarından çıkar.</p>
        <p>Adım C’de elde edilen sonuç ile beta katsayılarını güncelle.</p>
        <p>Until Beta katsayıları yakınsayana kadar.</p>
        <p>Bitir
Şekil. 4. Probit regresyona ait sözde kod
5$ ; =</p>
        <p>
          &lt;&lt;==). &lt;;&lt;
Genelleştirilmiş Katkı Modeli [
          <xref ref-type="bibr" rid="ref11">11</xref>
          ] (Bknz. Şekil 5), lineer olmayan değişkenlerin
smooth fonksiyonları ile hesaplandığı bir modelleme tekniğidir. Bu yöntemde lineer
değişkenler lojistik regresyonda olduğu gibi logit fonksiyonu ile modellenir.
Genelleştirilmiş katkı modeli ile sınıflandırma Formül 4’deki formül ile yapılmaktadır.
        </p>
      </sec>
      <sec id="sec-2-7">
        <title>Algoritma 4: Genelleştirilmiş Katkı Modeli</title>
        <p>1. Başla
2. Nümerik özellikler ile kategorik özellikleri ayrı veri setlerine böl.
3. Nümerik özellikler için spline fonksiyonu hesapla.
4. Her bir kategorik özellik için beta katsayısını sıfıra eşitle</p>
        <p>Repeat
a.</p>
        <p>Güncel beta katsayılarını kullanarak Logit fonksiyonunu veri setindeki
tüm örnekler için sırasıyla çalıştır ve elde edilen sınıf bilgilerini gerçek
sınıf bilgisinden çıkararak hata miktarını hesapla.
(2)
(3)
3.2</p>
        <p>
          Çalışmada Kullanılan Makine Öğrenimi Algoritmaları
K En Yakın Komşu [
          <xref ref-type="bibr" rid="ref13">13</xref>
          ] algoritması (Bknz. Şekil 6), sınıflandırma işlemi esnasında
veri setine ait özelliklerden, sınıflandırılacak olan yeni örneğin daha önceki örneklerden
k tanesine olan yakınlığına bakılmasıdır.
        </p>
      </sec>
      <sec id="sec-2-8">
        <title>Algoritma 5: K En Yakın Komşu</title>
        <p>Başla
K değerini belirle.</p>
        <p>Sınıflandırılmak istenen örneğin veri setindeki tüm örnekler ile olan Öklid,
Manhattan veya Chebyshev uzaklığını hesapla.</p>
        <p>Uzaklıkları küçükten büyüğe doğru sırala.</p>
        <p>Sıralanmış uzaklıklardan ilk k tane komşuyu seç.</p>
        <p>K tane komşunun kategorilerini topla.</p>
        <p>En uygun kategoriyi seç.</p>
        <p>Bitir</p>
        <p>Şekil. 6. K En yakın komşu algoritmasına ait sözde kod
6.</p>
      </sec>
      <sec id="sec-2-9">
        <title>Veri setindeki her bir örneğe ait hata miktarını topla.</title>
        <p>Toplam hata miktarını öğrenme katsayısı ile çarp ve sonucu tüm beta
katsayılarından çıkar.</p>
        <p>
          Adım C’de elde edilen sonuç ile beta katsayılarını güncelle.
+ $, + ⋯ .(.) + E&lt;
(4)
C4.5 Karar Ağacı [
          <xref ref-type="bibr" rid="ref14">14</xref>
          ] (Bknz. Şekil 7), bilgi entropisi kavramını temel alarak eğitim
veri setini kullanarak bir karar ağacı üretir. Karar ağacında bölüm kriteri bilgi kazanımı
değeridir. En yüksek bilgi kazanımına sahip özellik ağaca eklenir. Bu işlem veri
setindeki tüm özellikler için uygulanarak ağaç oluşturulur.
        </p>
      </sec>
      <sec id="sec-2-10">
        <title>Algoritma 6: C4.5 Karar Ağacı Başla MaxBilgi değişkenini sıfıra eşitle. Repeat</title>
        <p>Güncel veri setinin entropisini hesapla.</p>
        <p>FOR veri setindeki her bir özelik
a. Güncel veri setindeki özelliklerden bir tanesini seç.
b. Seçilen özellik için bilgi değerini hesapla.
c. Seçilen özellik için bilgi kazanımını hesapla.
d. IF bilgi kazanımı &gt; MaxBilgi then</p>
        <p>i. MaxBilgi değişkenine bilgi kazanımı değerini ata.</p>
        <p>ENDFOR
7. MaxBilgi değerine sahip özelliği ağaca ekle.
8. MaxBilgi değerine sahip özeliği veri setinden sil.
9. Until veri setindeki özellik sayısı = 0
10. Bitir</p>
        <p>
          Şekil. 7. C4.5 Karar Ağacı sözde kod
Destek Vektör Makineleri [
          <xref ref-type="bibr" rid="ref12">12</xref>
          ], girdi olarak verilen veri setindeki veriler arasındaki
ilişkilerin bilinmediği durumlarda kullanılmak üzere geliştirilmiş bir sınıflandırma
algoritmasıdır. Destek vektör makinesinin amacı, veri setinde bulunan tüm sınıflara en
uzak hyperplane bulmaktır. Test işlemi hyperplane kullanılarak gerçekleştirilir.
Yapay sinir ağları [
          <xref ref-type="bibr" rid="ref15">15</xref>
          ], yapay nöronlardan oluşur ve insan beynin basit bir modelini
gerçeklemektedirler. Fakat bu ağlar gerçek beyin yapısı işle karşılaştırıldığında çok
basit kalmaktadır. Optimum ağırlık değerlerinin bulunması doğruluk oranını artırır.
Yapay sinir ağları, eğitim veri setinden faydalanarak yapısında bulunan nöronlar
arsındaki bağlantıların ağırlıklarını bulmaya çalışır.
3.3
        </p>
        <p>İstatistiksel ve Makine Öğrenimi Modellerinin Karşılaştırılması
Modellerin karşılaştırma işlemi için aşağıdaki adımlar takip edilmiştir.
• Veri setine ait özelliklerin tipi belirlenir. İki tip özellik
kullanılmaktadır; nümerik ve kategorik.
• Veri seti özellik seçimi işleminden geçirilir.
• Veri seti dört tanesi istatistiksel, dört tanesi makine öğrenimi olmak
üzere toplam sekiz algoritma üzerinde koşturulur.
• Algoritmaların çalıştırılması sonucu elde edilen modeller test
edilerek her bir algoritmaya ait karmaşıklık matrisi elde edilir.
• Karmaşıklık matrisinden faydalanılarak modelin doğruluk,
özgüllük, duyarlılık, ROC eğrisi altında kalan alan ve gini katsayısı elde
edilir.
• ROC Eğrisi altından kalan alan ve her bir modelin oluşturulma
süresi bir grafik ile sunulur.</p>
        <p>Karmaşıklık matrisi, bir sınıflandırma işleminin tahmini sonuçlarının özetidir. Her
sınıfa ait doğru ve yanlış tahminlerin özetini sunar. Sınıflandırma modelinin test
edilmesi sonucu dört farklı çıktı elde edilir. Bu çıktılar;
• True Positive (TP): Doğru pozitif tahminlerin sayısı.
• False Positive (FP): Yanlış pozitif tahminlerin sayısı.
• True Negative (TN): Doğru negatif tahminlerin sayısı.</p>
        <p>• False Negative (FN): Yanlış negatif tahminlerin sayısı.</p>
        <p>Doğruluk (Bknz. Formül 5), doğru tahminlerin sayısının, test veri setindeki tüm
örneklerin sayısına bölümünden elde edilir.</p>
        <p>ğ = (MN%PMNN%%MMOO%PO)
(5)
Duyarlılık (Bknz. Formül 6), doğru pozitif tahminlerin sayısının, test veri setindeki
tüm pozitif örneklerin sayısına bölümünden elde edilir.
Özgüllük (Bknz. Formül 7), doğru negatif tahminlerin sayısının, test veri setindeki tüm
negatif örneklerin sayısına bölümünden elde edilir.</p>
        <p>= (MNM%NPO)
Öüü =</p>
        <p>MO
(MO%PN)
(6)
(7)
4</p>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>Değerlendirme</title>
      <p>Araştırma kapsamında geliştirilen uygulama üzerinde gerçekleştirilen testler, Intel Core
i5 2.4 GHz işlemcili ve 8GB RAM sahip bilgisayar ile yapıldı. Testler uygulama
içerisindeki tüm algoritmalar için gerçekleştirilmiştir. Algoritmalar 5KB ve 10KB olmak
üzere iki farklı veri seti üzerinde 100 defa çalıştırılmıştır ve algoritmalara ait sonuçlar
gösterilene kadar geçen süre ortalama ve standart sapma olarak Tablo 1’de
gösterilmiştir. Çalışma süreleri hesaplanırken Java programlama dili içerisinde bulunan
Timestamp sınıfı kullanılmıştır ve süreler nanosaniye olarak elde edilmiştir.
Uygulamanın çalışma süresi açısından maliyeti veri setinin boyutuna göre değişkenlik
göstermektedir.</p>
      <sec id="sec-3-1">
        <title>Tablo 1. Algoritmalara Ait Zaman Maliyetleri</title>
        <sec id="sec-3-1-1">
          <title>Algoritmalar</title>
          <p>KNN
C4.5
SVM
ANN</p>
          <p>GAM
Lojistik Regresyon
Poisson Regresyon
Probit Regresyon
5 KB
Sonuçlar incelendiğinde, makine öğrenimi algoritmalarının çalışma süreleri ile
istatistiksel algoritmaların çalışma süreleri arasında belirgin bir fark olduğu görülmektedir.
İstatistiksel algoritmalar, kategorik verileri kukla verilere dönüştürdüğü için veri setinin
boyu enine büyümektedir dolayısıyla model oluşturma süresi artmaktadır. Makine
öğrenimi algoritmalarının istatistiksel algoritmalara oranla zaman maliyeti açısından daha
verimli olduğu gözlemlenmiştir.</p>
        </sec>
      </sec>
      <sec id="sec-3-2">
        <title>Tablo 2. Algoritmalara Ait Sonuçlar</title>
        <sec id="sec-3-2-1">
          <title>Algoritmalar</title>
          <p>KNN
C4.5
SVM
ANN</p>
          <p>GAM
Lojistik Regresyon
Poisson Regresyon
Probit Regresyon
Tablo 2, istatistiksel ve makine öğrenimi algoritmalarının karşılaştırılabilmesi için
gerekli bilgileri içermektedir. Sekiz farklı sınıflandırma algoritmasının veri seti üzerinde
koşturulması sonucu elde edilen karmaşıklık matrisleri sistem tarafından
değerlendirilip tablodaki bilgiler elde edilmiştir. Bu sonuçlar incelendiğinde, istatistiksel yöntemler
ile makine öğrenimi yöntemlerinin yakın sonuçlar elde ettiği görülmektedir. Sınıflama
modellerinin doğruluğu açısından istatistiksel yöntemlerin makine öğrenimi
yöntemlerinden daha başarılı olduğu gözlemlenmiştir. Tablodaki AUC değerleri dikkate
alındığında, en yüksek skora sahip algoritmanın yapay sinir ağı olduğu görülmektedir. AUC
değeri, hangi modelin sınıflandırma için daha başarılı olduğunu göstermektedir. Yapay
sinir ağı algoritmasının AUC değeri en yüksek olmasına rağmen, istatistiksel
algoritmaların AUC ortalamalarının, makine öğrenimi algoritmalarının AUC
ortalamalarından daha yüksek olduğu gözlemlenmiştir.
5</p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-4">
      <title>Sonuçlar ve Gelecekteki Çalışmalar</title>
      <p>Bu araştırma kapsamında, bankacılık alanındaki veri setleri üzerinde koşturulan ve en
uygun kredi skorlama modelinin tespitini sağlayan bir çözüm geliştirilmiştir. Araştırma
kapsamında güncel makine öğrenimi ve istatistiksel sınıflandırma algoritmaları
kullanılmıştır. Algoritmaların çalıştırılması sonucu elde edilen modellerden faydalanılarak
bankaların müşterilerinin kredi taleplerini değerlendirme aşamasında karar verme
süreçleri hızlandırabilmektedir.</p>
      <p>Üçüncü bölümde detaylı bir şekilde incelenen algoritmalar makine öğrenimi
algoritmalarının süre maliyeti açısından daha verimli olduğu gözlemlenmiştir.
Regresyon algoritmaları kategorik verilerden ziyade nümerik verilerden oluşan veri setlerinde
daha verimlidir. Regresyon algoritmaları kategorik verileri kukla verilere dönüştürerek
veri setinin boyutunu enine artırmaktadır fakat makine öğrenimi algoritmaları veri
setinin boyutunu sabit tutamaktadır. Sistemin doğru çalışabilmesi için, sisteme yüklenen
veri setinin kredi skorlama işlemine uygun olması ve eksik veri analizi vb. ön inceleme
işlemlerine tabii tutulmuş olması gerekmektedir.</p>
      <p>Gelecek çalışmalarda, Random Forest ve Naive Bayes gibi güncel ve sıkça
kullanılan makine öğrenimi algoritmaları sisteme dahil edilebilir. Bunlara ek olarak,
kümeleme analizi ve bulanık mantık (fuzyy logic) gibi metodolojilerin kullanılması
sistemin başarısını artırabilir.
Bu araştırma kapsamında veri ve çalışma ortamı sağlayan Cybersoft Ar-Ge birimine
teşekkürlerimi sunarım.</p>
      <sec id="sec-4-1">
        <title>Kaynaklar</title>
      </sec>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Tabagari</surname>
          </string-name>
          , Salome.
          <article-title>Credit scoring by logistic regression</article-title>
          .
          <source>Diss. Tartu Ülikool</source>
          ,
          <year>2015</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <surname>Desai</surname>
          </string-name>
          , Vijay S.,
          <string-name>
            <surname>Jonathan</surname>
            <given-names>N.</given-names>
          </string-name>
          <string-name>
            <surname>Crook</surname>
          </string-name>
          , and
          <string-name>
            <surname>George</surname>
            <given-names>A.</given-names>
          </string-name>
          <string-name>
            <surname>Overstreet</surname>
          </string-name>
          .
          <article-title>"A comparison of neural networks and linear scoring models in the credit union environment."</article-title>
          <source>European Journal of Operational Research 95.1</source>
          (
          <year>1996</year>
          ):
          <fpage>24</fpage>
          -
          <lpage>37</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Sousa</surname>
          </string-name>
          , Marcos de Moraes, and Reginaldo Santana Figueiredo.
          <article-title>"Credit analysis using data mining: application in the case of a credit union."</article-title>
          <source>JISTEM-Journal of Information Systems and Technology Management 11.2</source>
          (
          <year>2014</year>
          ):
          <fpage>379</fpage>
          -
          <lpage>396</lpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Önder</surname>
          </string-name>
          , Ceren.
          <article-title>"Bankruptcy prediction with support vector machines</article-title>
          .
          <source>"</source>
          (
          <year>2010</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>E. I. Altman</surname>
          </string-name>
          , “
          <article-title>Financial ratios, discriminant analysis and the prediction of corporate bankruptcy”</article-title>
          ,
          <source>The journal of finance</source>
          , vol.
          <volume>23</volume>
          , no.
          <issue>4</issue>
          , pp.
          <fpage>589</fpage>
          -
          <lpage>609</lpage>
          ,
          <year>1968</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <given-names>B.</given-names>
            <surname>Baesens</surname>
          </string-name>
          ,
          <string-name>
            <given-names>T. Van</given-names>
            <surname>Gestel</surname>
          </string-name>
          ,
          <string-name>
            <given-names>S.</given-names>
            <surname>Viaene</surname>
          </string-name>
          ,
          <string-name>
            <given-names>M.</given-names>
            <surname>Stepanova</surname>
          </string-name>
          ,
          <string-name>
            <given-names>J.</given-names>
            <surname>Suykens</surname>
          </string-name>
          and
          <string-name>
            <given-names>J.</given-names>
            <surname>Vanthienen</surname>
          </string-name>
          , “
          <article-title>Benchmarking state-of-the-art classification algorithms for credit scoring”</article-title>
          ,
          <source>Journal of the operational research society</source>
          , vol.
          <volume>54</volume>
          , no.
          <issue>6</issue>
          , pp.
          <fpage>627</fpage>
          -
          <lpage>635</lpage>
          ,
          <year>2003</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7.
          <string-name>
            <given-names>Y.</given-names>
            <surname>Yang</surname>
          </string-name>
          , “
          <article-title>Adaptive credit scoring with kernel learning methods”</article-title>
          ,
          <source>European Journal of Operational Research</source>
          , vol.
          <volume>183</volume>
          , no.
          <issue>3</issue>
          , pp.
          <fpage>1521</fpage>
          -
          <lpage>1536</lpage>
          ,
          <year>2007</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <given-names>Logistic</given-names>
            <surname>Regression</surname>
          </string-name>
          , http://www.statisticssolutions.com/what-is
          <string-name>
            <surname>-</surname>
          </string-name>
          logistic-regression/, son erişim
          <year>2017</year>
          /06/16
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <given-names>Poisson</given-names>
            <surname>Regression</surname>
          </string-name>
          , https://ncss-wpengine.
          <article-title>netdna-ssl</article-title>
          .com/wp-content/themes/ncss/pdf/Procedures/NCSS/Poisson_Regression.pdf,
          <source>son erişim</source>
          <year>2017</year>
          /06/19
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <article-title>An Introduction to Logistic and Probit Regression Models</article-title>
          , https://liberalarts.utexas.edu/prc/_files/cs/Fall2013_Moore_Logistic_Probit_Regression.pdf,
          <source>son erişim</source>
          <year>2017</year>
          /06/18
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11. GAM, http://multithreaded.stitchfix.com/blog/2015/07/30/gam/,
          <source>son erişim</source>
          <year>2017</year>
          /06/19
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12. Destek Vektör Makineleri, https://www.slideshare.net/ozgur_dolgun/destek-vektr-makineleri,
          <source>son erişim</source>
          <year>2017</year>
          /06/16
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>KNN</surname>
          </string-name>
          ,
          <string-name>
            <surname>K-En Yakın</surname>
          </string-name>
          Komşu, http://bilgisayarkavramlari.sadievrenseker.com/
          <year>2008</year>
          /11/17/knn
          <article-title>-k-nearest-neighborhood-en-</article-title>
          <string-name>
            <surname>yakin-</surname>
          </string-name>
          k-komsu/,
          <source>son erişim</source>
          <year>2017</year>
          /06/16
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <year>C4</year>
          .
          <article-title>5 Karar Ağaçları</article-title>
          , http://bilgisayarkavramlari.sadievrenseker.com/
          <year>2012</year>
          /11/13/c4-5
          <string-name>
            <surname>-</surname>
          </string-name>
          agaci-c4-5-tree/,
          <source>son erişim</source>
          <year>2017</year>
          /06/18
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15. ANN, Artificial Neural Network, https://en.wikipedia.org/wiki/Artificial_neural_network, son erişim,
          <year>2017</year>
          /06/18
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>