<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Archiving and Interchange DTD v1.0 20120330//EN" "JATS-archivearticle1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink">
  <front>
    <journal-meta />
    <article-meta>
      <title-group>
        <article-title>Bir Reklam AracÕV YazÕOPQ n Makine Ö÷ renmesi Yetenekleriyle ø yileú tirilmesi için Planlama</article-title>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <string-name>Görkem Giray</string-name>
          <email>gorkem.giray@kokteyl.com</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Murat Osman ÜnalÕ r</string-name>
          <email>murat.osman.unalir@ege.edu.tr</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <string-name>Cem ÇatÕ kkaú</string-name>
          <email>cem.catikkas@kokteyl.com</email>
          <xref ref-type="aff" rid="aff0">0</xref>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <aff id="aff0">
          <label>0</label>
          <institution>Anahtar Kelimeler: YazOÕ m Mimarisi, Makine Ö÷ renmesi Süreci</institution>
          ,
          <addr-line>Mobil ReklamcÕO k, Reklam AracÕV YazÕPO</addr-line>
        </aff>
        <aff id="aff1">
          <label>1</label>
          <institution>Ege Üniversitesi</institution>
          ,
          <addr-line>Bilgisayar Mühendisli÷ i Bölümü, ø zmir</addr-line>
        </aff>
        <aff id="aff2">
          <label>2</label>
          <institution>Kokteyl A.ù .</institution>
          , ø
          <addr-line>stanbul</addr-line>
          ,
          <country country="TR">Türkiye</country>
        </aff>
      </contrib-group>
      <abstract>
        <p>Özet. Bir Reklam AracÕV YazÕOP , hangi reklam aÕ÷ ndan hangi sÕ rada reklam talep edece÷ ine dair kararÕ verirken uygulamanÕ n reklam gelirini azami seviyeye çÕ karmayÕ hedefler. Bu kararÕ ne kadar iyi verebilece÷ i, reklam gelirini ölçmek için kullanÕ lan eBGBM (Etkin Bin Gösterim BaúÕ na Maliyet) de÷ erini ne kadar iyi tahmin edebilece÷ ine baOÕG÷ r. Mevcut durumda bu tahmin, önceden kodlanmÕú bir karar mekanizmasÕ ve konu alanÕ uzmanlarÕ tarafÕ ndan belirlenen parametreler do÷ rultusunda yapÕ lmaktadÕ r. Bu tahminin daha iyi yapÕ labilmesi ve zaman içinde oluú an veri do÷ rultusunda güncellenebilmesi için makine ö÷ renmesi algoritmalarÕQ n kullanÕ lmasÕ mümkündür. Bu bildiride, mevcut sisteme makine ö÷ renmesi yetenekleri kazandÕ rmak için yapÕ lan planlama çalÕú malarÕ sunulmaktadÕ r. Bu kapsamda bir makine ö÷ renmesi süreci, bu süreci gerçekleú tirmek için tasarlanan bir mimari ve geliú tirme takQÕP n sahip olmasÕ gereken yetkinlikler anlatÕ lmWÕú r.</p>
      </abstract>
    </article-meta>
  </front>
  <body>
    <sec id="sec-1">
      <title>-</title>
      <p>1</p>
    </sec>
    <sec id="sec-2">
      <title>Giriú</title>
      <p>Son yÕ llarda mobil cihazlarÕ n kullanÕP oldukça yaygÕ nlaWÕPú r. Bu cihazlarÕ n
kullanÕF lar tarafÕ ndan benimsenmesinin temel nedenlerinden biri bu cihazlar üzerinde
çalÕú an uygulamalarÕ n sayÕQV n artmasÕ , çeú itlenmesi ve kullanÕF larÕ n birçok
gereksinimini karÕú lamalarÕ na yardÕ mcÕ olmalarGÕ r. Mobil uygulamalarÕ n önemli bir
bölümünün gelir modeli reklam gösterimine dayanmaktadÕ r. Mobil cihaz ve uygulama
sayÕV ndaki artÕú reklam sektörünün de mobil kanallara a÷Õ rlÕ k vermesine neden
olmuú tur. Mobil uygulamalara reklam sa÷ layan çok sayÕ da reklam a÷Õ ortaya
Õo kmWÕú r. Bu reklam a÷ larQÕ n temel amacÕ reklam verenler ile reklam yayÕ mlayanlar
(bu durumda mobil uygulamalar) arasÕ nda bir köprü kurmaktÕ r. Reklam a÷ larQÕ n
sayÕQV n artmasÕ yla birlikte de çok sayÕ da reklam aÕ÷ ile reklam yayÕ mlayanlar
arasÕ nda köprü kurma görevini reklam aracÕV yazÕO mlarÕ üstlenmeye baú lamWÕú r.</p>
      <p>
        Bir reklam aracÕV yazPÕO , bir uygulamaya reklam sa÷ larken, hangi reklam
D÷ larÕ ndan hangi sÕ rada reklam talep edece÷ ine dair karar verirken uygulamanÕ n
reklam gelirini (aynÕ zamanda da kendi reklam gelirini) azami seviyeye çÕ karmayÕ
amaçlamaktadÕ r. Bunun için de reklam gösteriminden en fazla gelir sa÷ lanabilecek
reklam aÕ÷ ndan baú layarak reklam talebinde bulunur. Mobil reklam sektöründe
reklam gösterimi baÕú na geliri ifade etmek için eBGBM (Etkin Bin Gösterim BaÕú na
Maliyet; ø ngilizcesi: eCPM – Effective Cost per Mille) kavramÕ kullanÕ lmaktadÕ r.
Mevcut durumda Kokteyl ú irketinin Reklam AracÕV YazPOÕ nda gerçekleú ecek
eBGBM de÷ erleri alan uzmanlarÕ tarafÕ ndan sezgiye dayalÕ olarak tahmin
edilmektedir ve sistemde güncellenmektedir. eBGBM de÷ erini etkileyebilecek
de÷Lú kenler tespit edilerek, bu de÷Lú kenlerle eBGBM arasÕ ndaki örüntülerin makine
÷| renmesi algoritmalarÕ yla tespit edilmesi mümkün görünmektedir. Bu çalÕú ma
kapsamÕ nda Kokteyl ú irketinin mevcut Reklam AracÕV YazOPÕ na makine ö÷ renmesi
yetenekleri kazandUÕ lmasÕ için yürütülen projenin planlama aú amasÕ nda
gerçekleú tirilen faaliyetler paylaÕú lmaktadÕ r. Planlama aú amasÕ nda gerek reklam
sektöründeki gerekse baú ka sektörlerdeki benzer çalÕú malar [
        <xref ref-type="bibr" rid="ref1 ref2 ref3 ref4">1 - 4</xref>
        ] ve makine
÷| renmesi yetenekleri bir sisteme kazandUOÕ rken kullanÕ labilecek yazÕO m
mühendisli÷ i pratikleri [
        <xref ref-type="bibr" rid="ref5 ref6">5, 6</xref>
        ] incelenmiú tir.
      </p>
      <p>Bildirinin geri kalan bölümleri ú u ú ekilde düzenlenmiú tir: ø kinci bölüm mobil
reklam sektörü, ú irketin reklam aracÕV yazPÕO ve makine ö÷ renmesi hakkÕ nda genel
bir bilgi vermektedir. Üçüncü bölümde makine ö÷ renmesi yeteneklerine sahip bir
mimari tasarÕ m anlatÕ lmaktadÕ r. Dördüncü bölümde ilgili çalÕú malar özetlenmiú tir.
Son bölümde bir özet ve gelecek çalÕú malar sunulmuú tur.
Mobil Reklam Sektörü ve Reklam AracÕV
YazÕOP
Mobil reklam sektöründeki ana paydaú lar ù ekil 1’de gösterilmektedir. Reklam
verenler, reklam a÷ larÕ na ürünleri ve/veya hizmetleri hakkÕ nda reklam vermektedir.
YayÕ ncÕ lar, reklam a÷ larÕ ndan reklam talep etmekte ve reklam a÷ larÕ yayÕ ncÕ ya o
andaki en uygun reklamÕ sa÷ lamaktadÕ r. Uygun reklamÕ n seçimi konusundaki karar
birçok de÷Lú kene (yayÕ ncÕQ n hangi uygulama oldu÷ u, son kullanÕF hakkÕ ndaki
bilgiler, uygulamanÕ n çal÷WÕú cihaz gibi) ba÷OÕ olarak de÷Lú mektedir. YayÕ ncÕ larÕ n
reklam a÷ larÕ ndan do÷ rudan reklam almasÕ durumunda bazÕ zorluklar ortaya
Õo kmaktadÕ r. UygulamanÕ n geliú tirilmesi açÕV ndan ortaya çÕ kan bir zorluk, yayÕ ncÕ
uygulamanÕ n reklam talep edece÷ i tüm reklam a÷ larÕ yla ayrÕ ayrÕ entegre olma
gereksinimidir. øú amaçlarÕ açÕV ndan bakÕ ldÕ÷ nda bir yayÕ ncÕ QÕ n birçok reklam
D÷Õ ndan en uygun reklamÕ (en fazla geliri getirecek reklam) alamamasÕ durumunda
gelir kaybÕ yaú ayacaktÕ r. DolayÕV yla yayÕ ncÕ ÕQ n en uygun reklamÕ seçecek karar
algoritmasQÕ uygulamanÕ n bir parçasÕ olarak geliú tirmesi gerekmektedir. Reklam
aracÕ larÕ birçok reklam a÷Õ ile entegre olarak en uygun reklamÕ sa÷ lama konusunda
uzmanlaú maktadÕ r. Uygulama geliú tirme açÕV ndan yayÕ ncÕ uygulamanÕ n sadece bir
reklam aracÕV ile entegre olarak birçok reklam a÷Õ ndan reklam alabilmektedir ve çok
sayÕ da reklam a÷Õ ile entegre olmanÕ n getirdi÷ i karmaÕú klÕ k reklam aracÕV tarafÕ ndan
yönetilmektedir. Bunun yanÕ nda en uygun reklamÕ seçme konusunda uzmanlaú an
reklam aracÕ larÕ bu iú i de yayÕ ncÕ uygulamalarÕ n yerine yapmaktadÕ r. Böylece
yayÕ ncÕ larÕ n reklam gelirlerini arttÕ rmasÕ na yardÕ mcÕ olmaktadÕ r. Son kullanÕF lar ise
yayÕ ncÕ uygulamalarÕ kullanarak reklamlarÕ görüntülemekte ve bu reklamlara karÕú
zaman zaman bir davranÕú (reklama tÕ klama, uygulama indirme ve kurma, ürün satÕ n
alma gibi) sergilemektedir. Bu tür davranÕú lar yayÕ ncÕ lara gelir sa÷ lamaktadÕ r.</p>
      <p>Reklam
Veren
reklam
verir
ù ekil 1. Mobil reklam sektöründeki ana paydaú lar.</p>
      <p>
        Reklam AŦŒ
ù ekil 2’de reklam aracÕV yazQPÕO n (yazÕO m mimarisi için bkz. [
        <xref ref-type="bibr" rid="ref7">7</xref>
        ]) yayÕ ncÕ larla
ve reklam a÷ larÕ yla olan iliú kisi gösterilmektedir. Reklam aracÕV yazQPÕO oluú turan
iki bileú en, ú ekilde yeú il renk ile gösterilmiú tir. Reklam AracÕV YazQPOÕ n (RAY)
sunucu uygulamasÕ , reklam a÷ larQÕ n yazÕO m geliú tirme kitlerini (YGK) içermektedir.
Bu YGK’ler (ù ekil 2’deki Reklam A÷Õ 1’in ve 2’nin YGK’si) aracO÷Õ yla sunucu
uygulamasÕ reklam a÷ larÕ ndan reklam talep etmektedir ve reklam almaktadÕ r. YayÕ ncÕ
uygulamalar ise RAY’nin YGK’sini uygulamalarQÕ n içine yerleú tirerek RAY’den
reklam talep etmektedir ve almaktadÕ r. Daha önce anlatÕ ldÕ÷ gibi, teknik açÕ dan RAY
birçok reklam aÕ÷ ile entegre olmanÕ n getirdi÷ i karmaÕú kl÷Õ yayÕ ncÕ uygulamalara
saydam hale getirmektedir. úø amaçlarÕ açÕV ndan ise RAY birçok reklam aÕ÷ ndan
sa÷ ladÕ÷ reklamlar arasÕ ndan en uygun reklamÕ yayÕ ncÕ uygulamaya göndererek
reklam gelirlerinin arttUÕ lmasQÕ sa÷ lamaktadÕ r.
      </p>
      <p>YayŦ ncŦ lar</p>
      <sec id="sec-2-1">
        <title>YayŦ ncŦ Uygulama 1</title>
      </sec>
      <sec id="sec-2-2">
        <title>YayŦ ncŦ Uygulama 2</title>
      </sec>
      <sec id="sec-2-3">
        <title>YayŦ ncŦ Uygulama 3 RAY YGK</title>
        <p>RAY
YGK
RAY
YGK
reklam saŒ lar
reklam talep eder</p>
      </sec>
      <sec id="sec-2-4">
        <title>Reklam AracƐŦ</title>
      </sec>
      <sec id="sec-2-5">
        <title>Reklam AracƐŦ YazŦůŵ</title>
        <p>(RAY) Sunucu UygulamasŦ
b elale Listesi Üretim</p>
      </sec>
      <sec id="sec-2-6">
        <title>Motoru</title>
      </sec>
      <sec id="sec-2-7">
        <title>Reklam</title>
        <p>ŦŒ 1'in
YGK’si</p>
      </sec>
      <sec id="sec-2-8">
        <title>Reklam 2'nin YGK’si</title>
      </sec>
      <sec id="sec-2-9">
        <title>Reklam</title>
        <p>ŦŒ 1</p>
        <p>Reklam
ŦŒ 2
ù ekil 2. Reklam aracVÕ
yazÕOQP</p>
        <p>n yayÕ ncÕ lar ve reklam a÷ larÕ ile iliú kisi.</p>
        <p>ù ekil 2’de RAY’nin içerdi÷ i bir bileú en olarak ù elale Listesi Üretim Motoru
gösterilmektedir. ù elale listesi, yayÕ ncÕQ n hangi reklam a÷ larÕ ndan hangi sÕ rada
reklam talebinde bulunmasÕ gerekti÷ ini belirleyen bir öncelik listesidir (Bkz. Tablo 1).
ù elale listesi, her bir yayÕ ncÕ için belirli aralÕ klarla (örne÷ in günlük) çeú itli de÷Lú kenler
(reklam formatÕ , reklam alanÕ , geçmiú eBGBM de÷ erleri gibi) göz önüne alÕ narak
ú elale listesi üretim motoru tarafÕ ndan üretilir. Her yayÕ ncÕ uygulamanÕ n RAY YGK’si
bu ú elale listesini belirli aralÕ klarla sunucu uygulamasÕ ndan indirerek reklam
taleplerini bu güncellenmiú listeye göre yapar. ù elale listesindeki sÕ ralama gelecekte
gerçekleú ecek eBGBM de÷ erlerini ne kadar iyi tahmin edebilirse reklam gelirleri o
kadar artacaktÕ r. eBGBM reklam gösterimi baÕú na geliri ifade etmektedir ve “(Gelir /
Gösterim SayÕV ) x 1000” formülü ile hesaplanmaktadÕ r. Mevcut durumda ú elale
listesi oluú turmak için kullanÕ lan girdiler (eBGBM tahminleri gibi) alan uzmanlarÕ
tarafÕ ndan yapÕ lan gözlemler sonucunda sezgisel olarak belirlenmektedir ve
güncellenmektedir. Mevcut bu çözüme alternatif olarak eBGBM de÷ erini etkileyen
parametrelerin tespit edilmesi ve makine ö÷ renmesi algoritmalarÕ kullanÕ larak
eBGBM tahmin edilmesi hedeflenmektedir.</p>
        <p>Tablo 1. Örnek bir ú elale listesi.
1. sÕ radaki reklam aÕ÷
÷( er reklam alÕ ndÕ ysa</p>
        <p>ReklamÕ göster
ÇÕ k
2. sÕ radaki reklam aÕ÷
÷( er reklam alÕ ndÕ ysa</p>
        <p>ReklamÕ göster
ÇÕ k
3. sÕ radaki reklam aÕ÷
÷( er reklam alÕ ndÕ ysa</p>
        <p>ReklamÕ göster
ÇÕ k
…
ndan reklam talep et
ndan reklam talep et
ndan reklam talep et
2.2</p>
        <p>
          Makine Ö÷ renmesi
Makine ö÷ renmesi, bilgisayar sistemlerini açÕ k bir ú ekilde programlamadan,
bilgisayar sistemlerine “ö÷ renme” yetene÷ ini (yani belirli bir görevi yerine getirirken
gösterdi÷ i performansÕ kademeli olarak geliú tirme) kazandÕ rmak için istatistiksel
teknikleri kullanan bilgisayar biliminin bir alanGÕ r. Ö÷ renme süreci gözetimli ya da
gözetimsiz olabilmektedir. Gözetimsiz (unsupervised) ö÷ renmede, açÕ k bir geri
bildirim sa÷ lanmasa bile bilgisayar sistemi girdideki örüntüleri ö÷ renir [
          <xref ref-type="bibr" rid="ref8">8</xref>
          ]. En yaygÕ n
gözetimsiz ö÷ renme görevi kümelemedir, yani girdi örneklerindeki alt kümeleri tespit
etmektir. Gözetimli (supervised) ö÷ renmede ise, bilgisayar sistemi bazÕ örnek
girdiÕo ktÕ çiftlerini gözlemler ve girdiden çÕ ktÕ ya eú lenen bir fonksiyonu ö÷ renir [
          <xref ref-type="bibr" rid="ref8">8</xref>
          ].
        </p>
        <p>
          Veri analizi farklÕ amaçlar için, farklÕ sorulara cevap bulmak için yapÕ labilir. Bu
konuda yaygÕ n olarak kullanÕ lan bir sQÕ flandÕ rma veri analiti÷ i türlerini dört ana
baúOÕ kta toplamaktadÕ r [
          <xref ref-type="bibr" rid="ref9">9</xref>
          ]: (1) TanÕ mlayÕF (descriptive), (2) Teú his koyucu
(diagnostic), (3) Tahminleyici (predictive), (4) Öngörücü (prescriptive). TanÕ mlayÕF
analiz, “ne oldu?”; teú his koyucu analiz, “neden bu oldu?”; tahminleyici analiz, “ne
olacak?” ve öngörücü analiz, “ne yapmalÕ\ m?” sorusuna cevap arar.
        </p>
        <p>Bu proje kapsamÕ nda tahminleyici analiz ile hangi parametrelerin eBGBM
de÷ erinin oluú umuna etkisi oldu÷ u tespit edilmeye çalÕú lacaktÕ r. SonrasÕ nda mevcut
veri kullanÕ larak gözetimli ö÷ renme yaklaÕPú yla gelecekte oluú abilecek eBGBM
de÷ erleri tahmin edilmeye çalÕú lacaktÕ r. Bu görevleri yerine getirebilmek için yapÕ lan
mimari tasarÕ m ve literatürde dayandÕ÷ temeller bir sonraki bölümde anlatÕ lmaktadÕ r.
3</p>
        <p>
          Makine Ö÷ renmesi Yeteneklerine Sahip Bir Mimari TasarÕP
[
          <xref ref-type="bibr" rid="ref10">10</xref>
          ], bir bilgi teknolojileri organizasyonunun sistemlerine makine ö÷ renmesi
yetenekleri kazandÕ rabilmesi için üç ana alanda planlama yapmasQÕ önermektedir: (1)
süreç, (2) mimari ve (3) yetkinlik. Buna göre Kokteyl ú irketi çatÕV altÕ nda yapÕ lan
çalÕú malar üç baOÕú k altÕ nda incelenecektir:
1. Bir makine ö÷ renmesi sürecinin tasarPÕ
2. Bir makine ö÷ renmesi mimarisinin tasarPÕ
3. YukarÕ daki iki maddedeki etkinliklerin gerçekleú tirilebilmesi ve sürdürülebilir
        </p>
        <p>NÕO nmasÕ için gerekli yetkinliklerin kazanÕ lmasÕ
3.1</p>
        <p>
          Makine Ö÷ renmesi Süreci
Bir sistemin makine ö÷ renmesi yeteneklerini kazanabilmesi için veri ve makine
÷| renmesi (yaklaÕú mlar, teknikler, algoritmalar gibi) ile ba÷ lantÕO bazÕ iú lemlerin
yapÕ lmasÕ gerekmektedir. Bu iú lemler için literatürde [
          <xref ref-type="bibr" rid="ref10 ref11 ref12 ref13">10 – 13</xref>
          ] önerilen adÕ mlar yedi
baOÕú k altÕ nda toplanmWÕú r ve aD÷úÕ daki gibi özetlenmiú tir (5 numaralÕ adÕ m bu proje
kapsamÕ nda elde edilen deneyim sonucunda eklenmiú tir):
1. Problemin çözümlenmesi: Çözülmesi gereken problem kavranarak makine
÷| renmesi açÕV ndan de÷ erlendirilir. Makine ö÷ renmesi açÕV ndan yapÕ lacak
de÷ erlendirme sonucunda eldeki problemin nasÕ l bir çözümleme modeli
gerektirdi÷ ine (tanÕ mlayÕF , teú his koyucu, tahminleyici, öngörücü gibi), gözetimli
ya da gözetimsiz ö÷ renme algoritma gruplarÕ ndan hangisinin uygun oldu÷ una karar
verilir.
2. Verinin elde edilmesi, hazÕ rlanmasÕ ve geçerlenmesi: Problemin çözümü için
kullanÕ lacak verinin kaynaklarÕ belirlenir, bu verinin neleri temsil etti÷ i anlaÕOú r
(verinin anlamÕ ), veri iú lenebilecek ú ekilde temizlenir ve düzenlenir, elde edilen
nihai verinin problemin çözümünde kullanÕ labilece÷ i geçerlenir.
3. Problemin modellenmesi: Makine ö÷ renmesi için kullanÕ lacak algoritma(lar)
belirlenir ve bu modeller gerçeklenir. Bu gerçekleú tirim için hazÕ r kod
kütüphaneleri aynen ya da de÷Lú tirilerek kullanÕ labilir.
4. Modelin de÷ erlendirilmesi ve ayarlanmasÕ : Modelin sonuçlarÕ uygun ölçülere
göre de÷ erlendirilir; bazÕ durumlarda birden fazla algoritma kullanÕ larak deneyler
yapÕO r ve bu algoritmalar arasÕ ndan en uygunu ya da bir kombinasyonu seçilir.
AlgoritmalarÕ n çeú itli parametrelerini (örne÷ in karar a÷ açlarÕ nda a÷ aç derinli÷ inin
ne kadar olaca÷Õ gibi) ayarlamak için eldeki veri kullanÕ larak çeú itli deneyler
yapÕ lacaktÕ r.
5. Mevcut sistemin modeli kullanabilmesi için gerekli deú÷L ikliklerin yapÕ lmasÕ :
Makine ö÷ renmesi yeteneklerinin mevcut bir sisteme kazandUÕ lmasÕ planlanÕ yorsa
bu durumda mevcut sistemde gerekli deLú÷ iklerin yapÕ lmasÕ ve test edilmesi
gerekmektedir.
6. Modelin konuú landÕU lmasÕ : Makine ö÷ renmesi modelinin gerçeklenmiú hali
kullanÕ lmak üzere bir altyapÕ ya (bir sunucu, birçok sunucudan oluú an veri merkezi,
bulut gibi) konuú landUOÕ r. Bu model baú ka uygulamalarla iletiú im kurarak görevini
yerine getirebilir.
7. Modelin performansÕQ n izlenmesi: Makine ö÷ renmesi modelinin görevini ne
kadar iyi yerine getirdi÷ i oluú an yeni veriler izlenerek gözlemlenir. Düzenli ya da
düzensiz aralÕ klarla bu model güncellenerek modelin baú arQPÕ n arttUÕ lmasÕ
sa÷ lanabilir.
        </p>
        <p>
          Makine ö÷ renmesi sürecinde aú amalar arasÕ nda genellikle sÕ k geçiú ler
olabilmektedir ve süreç sÕ ralÕ bir düzende ilerlememektedir. Bundan dolayÕù ekil 3’te
gösterildi÷ i gibi yinelemeli ve artUÕ mlÕ bir süreç takip edilmektedir (benzer bir süreç
önerisi için [
          <xref ref-type="bibr" rid="ref14">14</xref>
          ] çalÕú masÕ ndaki ù ekil 6’ya bakÕQ z).
        </p>
        <p>Problemin çözümlenmesi</p>
        <p>Verinin elde edilmesi,
hazŦ rlanmasŦ ve
geçerlenmesi
Modelin performansŦŶ n</p>
        <p>izlenmesi
Modelin konuƔ landƌŦ lmasŦ</p>
        <p>Problemin modellenmesi
Modelin deŒ erlendirilmesi</p>
        <p>ve ayarlanmasŦ
Mevcut sistemin, modeli
kullanabilmesi için gerekli
deŝƔŒ ikliklerin yapŦ lmasŦ
ù ekil 3. Yinelemeli ve artUÕ mlÕ makine ö÷ renmesi süreci.</p>
        <p>
          YukarÕ da belirtilen süreç kullanÕ larak bu proje kapsamÕ nda her adÕ mda yapÕ lmasÕ
planlananlar aD÷Õú daki gibidir:
1. Bu çalÕú ma kapsamÕ nda çözülmesi hedeflenen problem eBGBM de÷ erinin tahmin
edilmesidir. Bu tahmin etme iú i için geçmiú te oluú an eBGBM de÷ erleri, bu
de÷ erlerin oluú masQÕ etkiledi÷ i düú ünülen özelliklerin (feature) de÷ erleri
kullanÕ larak gözetimli ö÷ renme yaklaÕPú kullanÕ lacaktÕ r.
2. Bunun için çeú itli kaynaklarda saklanan veriler birleú tirilecek, temizlenecek ve
makine ö÷ renmesi algoritmalarQÕ n kullanÕP için hazÕ r hale getirilecektir.
3. SonrasÕ nda bu problemin çözümü için uygun olabilecek algoritmalar
gerçeklenecektir. Literatürdeki bulgulara göre bu problem için çoklu ba÷ lanÕ m
(multiple regression) modelinin uygun olabilece÷ i de÷ erlendirilmektedir [
          <xref ref-type="bibr" rid="ref15">15</xref>
          ].
4. Gerçekleú tirilen modeller geçmiú veri kullanÕ larak e÷ itilecek ve test edilecektir.
5. Mevcut sistemde bulunan ù elale Listesi Üretim Motoru bileú eni makine ö÷ renmesi
algoritmasÕ yla oluú turulmuú tahminleri servis edecektir. Bunun için mevcut
sistemde gerekli de÷Lú iklikler yapÕ lacaktÕ r.
6. Seçilen model canlÕ ortama konuú landUÕ larak sQÕ rlÕ sayÕ da kullanÕF için kullanÕ ma
açÕ lacaktÕ r.
7. SonrasÕ nda modelin baú arPÕ izlenerek modelde iyileú tirmeler yapÕ larak aú amalÕ
olarak tüm kullanÕF lar için kullanÕ ma açÕ lacaktÕ r. SonrasÕ nda modelin baú arÕP
sürekli olarak izlenerek belirli aralÕ klarla modelde iyileú tirmeler yapÕ lmaya devam
edilecektir.
        </p>
        <p>Proje kapsamÕ nda bu süreci desteklemek için tasarlanan mimari bir sonraki
bölümde anlatÕ lmaktadÕ r.
3.2</p>
        <p>
          Makine Ö÷ renmesi Yeteneklerine Sahip Bir Mimari
Makine ö÷ renmesi yeteneklerinin geliú tirildi÷ i sistemlerde karmaÕú klÕ÷ n büyük bir
ÕN smÕ verinin elde edilmesi, hazÕ rlanmasÕ ve geçerlenmesi, sonrasÕ nda ise makine
÷| renmesi modellerinin oluú turularak ayarlanmasÕ aú amalarÕ nda ortaya çÕ kmaktadÕ r
[
          <xref ref-type="bibr" rid="ref13 ref16">13, 16</xref>
          ]. Sculley ve arkadaú larÕ makine ö÷ renmesi sistemlerinin çok küçük bir
bölümünün makine ö÷ renmesi kodu oldu÷ unu; bu kodu çevreleyen sistemin di÷ er
bileú enlerinin çok daha geniú ve karmaúÕ k oldu÷ unu belirtmiú tir [
          <xref ref-type="bibr" rid="ref16">16</xref>
          ]. Bu ba÷ lamda
böyle bir sistemin mimarisini oluú turmasÕ beklenen bileú enler iki ana grupta
ÕQV flandUÕ labilir: (1) Veriyi makine ö÷ renmesi algoritmalarÕ için hazÕ rlayan
bileú enler (veri toplama, veri geçerleme, özellik belirleme, konfigürasyon, analiz
araçlarÕ ) ve (2) bu büyük ölçekli verinin iú lenmesi için gerekli altyapÕQ n sa÷ lanmasÕ
(hizmet altyapÕV , makine kaynak yönetimi, görev yönetim araçlarÕ , izleme).
Literatürdeki bulgular ve bu projedeki gereksinimler do÷ rultusunda makine
÷| renmesi algoritmalarQÕ n çalUWÕú lmasÕ için geliú tirilecek mimari ù ekil 4’teki gibi
tasarlanmWÕú r.
        </p>
      </sec>
      <sec id="sec-2-10">
        <title>Modelleme ve</title>
        <p>deŒ erlendirme bileƔ eni</p>
      </sec>
      <sec id="sec-2-11">
        <title>Görsel servisler</title>
      </sec>
      <sec id="sec-2-12">
        <title>Veri iƔ leme bileƔ eni</title>
        <p>Üst veri
deposu</p>
        <p>TanŦ mlayŦĐ</p>
        <p>analiz
serv isleri
bileƔ eni
Öngörüsel</p>
        <p>analiz
serv isleri
bileƔ eni
Çoklu veri modelli veri eriƔ im katmanŦ</p>
        <p>Veri ambarŦ
7 liƔ kisel
olmayan</p>
        <p>veri
kaynaklarŦ
7 yileƔ tirici</p>
        <p>analiz
serv isleri
bileƔ eni
7 liƔ kisel</p>
        <p>veri
kaynaklarŦ
ù ekil 4. Makine ö÷ renmesi yeteneklerini mevcut sisteme kazandÕ rmak için gerekli bileú enler.</p>
        <p>
          Makine ö÷ renmesi algoritmalarÕ na gözetimli ö÷ renme için girdi olarak verilecek
veri iliú kisel ve iliú kisel olmayan kaynaklarda saklanmaktadÕ r. Bu kaynaklardaki
veriye birleú tirilmiú bir ú ekilde ulaú abilmek için bir çoklu veri modelli veri eriú im
katmanÕ [
          <xref ref-type="bibr" rid="ref17">17</xref>
          ] oluú turulacaktÕ r. Bu katman aynÕ zamanda birleú tirilmiú verinin
saklandÕ÷ veri ambarÕ na eriú im için de kullanÕ lacaktÕ r. Bu aktarÕ m iú lemleri veri
Lú leme bileú eninin sundu÷ u hizmetler aracO÷Õ yla yapÕ lacaktÕ r. Bu bileú enin görevi
veri ambarÕ geliú tirme projelerinde görülen verinin çÕ karÕ lmasÕ , dönüú türülmesi ve
yüklenmesi (ETL: Extract Transform Load) görevlerini yerine getirmektir. Bu bileú en
geliú tirilirken tüm veri kaynaklarÕ na bütüncül bir bakÕú açÕV yla yaklaú mak ve verinin
aktarPÕ için geliú tirilen prosedürlerin iyi tasarlanmasÕ gerekmektedir. Aksi takdirde
oluú abilecek karmaúÕ k aktarÕ m prosedürlerinin (“pipeline jungles” [
          <xref ref-type="bibr" rid="ref16">16</xref>
          ]) test edilmesi,
hatalarÕ n ayÕ klanmasÕ oldukça zor ve maliyetli olacaktÕ r [
          <xref ref-type="bibr" rid="ref18">18</xref>
          ].
        </p>
        <p>
          ù ekil 5’te veri hazÕ rlama görevlerinin ve makine ö÷ renmesi modellerinin tasarÕ m
açÕV ndan olasÕ geliú im aú amalarÕ gösterilmektedir [
          <xref ref-type="bibr" rid="ref6">6</xref>
          ]. Buna göre birbirinden
ba÷Õ msÕ z veri hazÕ rlama görevlerinden, verinin birleú tirilmiú ú ekilde bir veri
ambarÕ nda sakland÷Õ ve makine ö÷ renmesi ile ilgili özelliklerin, modellerin,
metriklerin yine birleú tirilmiú bir ú ekilde depoland÷Õ bir yapÕ ya do÷ ru bir geliú menin
olmasÕ , bu yapÕ larÕ n bakQPÕ n daha kolay yapÕ lmasÕ , hatalarÕ n daha kolay
yakalanmasÕ ve düzeltilmesi için gereklidir. Bu proje kapsamÕ nda da bütüncül bir
bakÕú la bir veri ambarÕ oluú turulmasÕ ve makine ö÷ renmesi ile ilgili iú ürünlerinin de
birleú tirilmiú bir ú ekilde saklanmasÕ hedeflenmektedir. Bu hedef için önemli
bileú enlerden biri de üst veri deposudur. Üst veri deposu, veri kaynaklarÕ ndaki veriler
hakkÕ nda bilgiler (verinin ne anlama geldi÷ i, veri tipi, gibi) sunarak gerek
geliú tiricilerin gerek bu verileri makine ö÷ renmesi görevleri için kullanacak kiú ilerin
veriyi anlamasÕ na yardÕ mcÕ olacaktÕ r.
        </p>
        <sec id="sec-2-12-1">
          <title>BirleƔ tirilmiƔ makine ƂŒ renmesi özellik, model ve metrik deposu</title>
        </sec>
        <sec id="sec-2-12-2">
          <title>Birbirinden baŒŦ msŦ z tek görevler</title>
        </sec>
        <sec id="sec-2-12-3">
          <title>PaylaŦƔ mlŦ veri ön Ɣŝ leme görevleri BirleƔ tirilmiƔ veri deposu</title>
          <p>ù ekil 5. Veri hazÕ rlama görevlerinin ve makine ö÷ renmesi modellerinin evrimi.</p>
          <p>TanÕ mlayFÕ analiz servisleri bileú eni, makine ö÷ renmesi modeli oluú turulmak için
gerekli olan mevcut veriyi anlamaya yönelik çözümlemeleri sunan hizmetleri
sa÷ layacaktÕ r. Bu çözümlemeler sonucunda eBGBM de÷ erini etkileyen özellikler
belirlenecektir. Tahminleyici analiz servisleri bileú eni eBGBM de÷ erinin tahmin
edilmesine yönelik hizmetleri sa÷ layacaktÕ r. Bunun için gözetimli ö÷ renme yaklaÕPú
ve çoklu do÷ rusal ba÷ lanÕ m modeli kullanÕ lacaktÕ r. ø yileú tirici analiz servisleri
bileú eni, konuú landUÕ lan modelin performansQÕ izlemek için gerekli hizmetleri
sunacaktÕ r. Zamana baÕO÷ olarak deL÷ú en eBGBM de÷ erinin zaman serisi analizi
teknikleri kullanÕ larak daha iyi tahmin edilmesine yönelik iyileú tirme çalÕú malarÕ
yapÕ lacaktÕ r. FarklÕ ortam verilerine sahip makine ö÷ renmesi modelleri arasÕ nda
NÕ yaslama yapÕ labilecek ve ortam verisinin de÷Lú imine göre makine ö÷ renmesi
modelinin otomatik olarak evrilmesi sa÷ lanacaktÕ r.</p>
          <p>Görsel servisler, kullanÕF larÕ n amaçlarÕ na uygun biçimde veriyi görselleú tirerek
sunacaktÕ r. Modelleme ve de÷ erlendirme bileú eni ise tanÕ mlayÕF , tahminleyici ve
iyileú tirici analiz servislerini kullanarak çeú itli modeller oluú turulmasÕ ve bunlarÕ n
de÷ erlendirilmesi için veri analiz uzmanlarÕ na bir arayüz sunacaktÕ r. Bunun için
Jupyter Notebook (http://jupyter.org/) gibi araçlar kullanÕ labilecektir.</p>
          <p>Tasarlanan mimarideki bileú enleri geliú tirmek ve sonrasÕ nda kullanmak için çeú itli
yetkinlikler gerekmektedir. Bu yetkinlikler çeú itli roller altÕ nda sQÕ flandUÕ larak bir
sonraki bölümde anlatÕ lmaktadÕ r.
3.3</p>
          <p>
            Makine Ö÷ renmesi Yeteneklerinin Geliú tirilmesi ø çin Gerekli Yetkinlikler
Makine ö÷ renmesi yeteneklerinin geliú tirilmesi için gerekli yetkinlikler genellikle veri
analiti÷ i uzmanÕ , makine ö÷ renmesi uzmanÕ , veri bilimci gibi unvanlar altÕ nda
toplanmaktadÕ r [
            <xref ref-type="bibr" rid="ref13 ref19 ref20 ref21">13, 19, 20, 21</xref>
            ]. Bu roller altÕ nda toplanan sorumluluklarÕ n ve
dolayÕV yla sahip olunmasÕ gereken yetkinliklerin farklÕ la÷úWÕ görülmektedir [
            <xref ref-type="bibr" rid="ref19 ref20">19, 20</xref>
            ].
Bu proje kapsamÕ nda, makine ö÷ renmesi sürecindeki 3., 4. ve 7. adÕ mlardaki görevleri
yerine getirebilecek bir veri analiti÷ i uzmanÕ görev alacaktÕ r. Mevcut veriyi anlamak
için üst veri deposunu, makine ö÷ renmesi modelleri için girdileri elde etmek için veri
ambarQÕ kullanacaktÕ r. TanÕ mlayÕF , tahminleyici ve iyileú tirici analiz servislerinin
makine ö÷ renmesi ile ilgili bölümlerini geliú tirecektir. Modelleri çalWÕú rmak ve
sonuçlarÕ görmek için modelleme ve de÷ erlendirme bileú enini kullanacaktÕ r. Bu
görevleri yerine getirirken görsel servisleri kullanarak elde edilen analiz sonuçlarQÕ
konu alanÕ uzmanlarÕ ile de÷ erlendirecektir.
          </p>
          <p>Çoklu veri eriú im katmanÕ ve veri iú leme bileú enleri yazÕO m mühendisleri
tarafÕ ndan geliú tirilecektir. Bu bileú enler geliú tirilirken konu alanÕ uzmanlarÕ
gereksinimleri belirleyecek ve geliú tirilen bileú enleri test edecektir.</p>
          <p>Tüm bu bileú enlerin barÕ ndUÕ lmasÕ için gerekli altyapÕ\ ise altyapÕ mühendisi
oluú turacak ve iú letilmesini sa÷ layacaktÕ r.</p>
          <p>
            Veri analiti÷ i uzmanÕ , temel istatistik ve matematik bilgisinin [
            <xref ref-type="bibr" rid="ref22">22</xref>
            ] yanÕ nda,
makine ö÷ renmesi kütüphaneleri ve model geliú tirmek için kullanÕ labilecek
programlama dilleri (Python, R gibi) hakkÕ nda bilgi sahibi olmalÕG r. Konu alanÕ
uzmanlarÕ , mobil reklamcÕO k sektörü ve bu sektörde oluú an verinin ve bilginin
yorumlanmasÕ konusunda deneyimli olmalÕG r. YazOÕ m mühendisleri, sunucu
tarafÕ ndaki ve mobil cihazlar üzerinde çalÕú acak bileú enleri geliú tirecek yetkinliklere
sahip olmalGÕ r. Bunun yanÕ nda gerek yazÕO m mühendislerinin gerekse altyapÕ
mühendisinin büyük hacimli verinin iú lenebilece÷ i altyapÕ\ tasarlayÕ p hayata
geçirebilecek bilgi birikimine ve deneyimine sahip olmalarÕ gerekmektedir.
          </p>
          <p>Özet olarak, bu proje kapsamÕ nda farklÕ yetkinliklere sahip olmayÕ gerektiren dört
ana rol bulunacaktÕ r. Veri analiti÷ i uzmanÕ , yazÕO m mühendisleri, konu alanÕ
uzmanlarÕ ve altyapÕ mühendisi birlikte çalÕú arak projenin baú arÕO bir ú ekilde
tamamlanmasQÕ sa÷ layacaktÕ r.
4</p>
          <p>ø lgili ÇalÕú malar
NIST’Õ n yayÕ mladÕ÷ “büyük veri birlikte çalÕú abilirlik çerçevesi”nde [23] önerilen
referans mimaride verinin kaynaÕ÷ ndan alQÕ p kullanÕ lacaÕ÷ noktaya ulaUOÕWú ncaya
kadar gerekebilecek iú levler beú baOÕú k altÕ nda toplanmWÕú r. Toplama (collection),
verinin elde edilmesine; hazÕ rlama (preparation), verinin uygun formata
dönüú türülmesine; analitik (analytics), veriden bilgi ve içgörü elde edilmesine;
görselleú tirme (visualization), bilginin uygun ú ekillerde sunulmasÕ na; eriú im (access),
veriyi kullanacak paydaú larla iletiú imin sa÷ lanmasÕ na dair görevleri kapsamaktadÕ r.
NIST’in referans mimarisindeki bu baOÕú klarda ele alÕ nmasÕ önerilen görevler ù ekil
4’teki mimaride kapsanmaktadÕ r.</p>
          <p>Elde edilen makine ö÷ renmesi modellerinin konuú landUÕ lmasÕ ve baú ka paydaú lar
tarafÕ ndan kullanÕ labilir duruma getirilmesi çeú itli çözümler sunulmaktadÕ r. Örne÷ in,
Algorithmia gibi platformlar makine ö÷ renmesi modellerinin konuú landUÕ lmasÕ için
gerekli altyapÕ\ sa÷ lamaktadÕ r [24]. Bu platform, modellerin kolayca
konuú landUÕ lmasÕ , API ile baú ka uygulamalarÕ n kullanPÕ na sunulmasÕ gibi hizmetleri
sa÷ lamaktadÕ r [24]. Bu çalÕú ma kapsamÕ nda makine ö÷ renmesi modellerini servis
olarak sunan bir platformun da geliú tirilmesi hedeflenmektedir.</p>
          <p>
            [
            <xref ref-type="bibr" rid="ref5">5</xref>
            ] çalÕú masÕ nda makine ö÷ renmesi modellerinin Uber ú irketi bünyesinde servis
olarak nasÕ l sunuldu÷ u anlatÕ lmaktadÕ r. Verinin, modellerin girdisi olacak ú ekilde
hazÕ rlanma aú amasÕ ù ekil 3’teki süreçle örtüú mektedir. AynÕ zamanda makine
÷| renmesi modellerinin servis olarak sunulmasÕ da bu çalúÕ ma kapsamÕ nda verilen
tasarÕ m kararlarÕ ndan biridir.
5
          </p>
        </sec>
      </sec>
    </sec>
    <sec id="sec-3">
      <title>Sonuçlar ve Gelecek ÇalúÕ malar</title>
      <p>Mobil cihazlarÕ n ve uygulamalarÕ n yaygÕ nlaú masÕ ve bu uygulamalarÕ n önemli bir
bölümünün gelirlerini reklam gösterimiyle elde etmeye baú lamasÕ yla birlikte mobil
reklam sektörünün hacmi büyümüú ve sektördeki paydaú larÕ n sayÕV artmWÕú r. Bir
uygulamada, bir kullanÕF için hangi reklamlarÕ n gösterilmesinin nasÕ l bir gelir
getirece÷ ini tahmin etmek, mobil reklam sektörü için önemli bir problemdir. Bu proje
kapsamÕ nda, geçmiú te oluú an veriden yola çÕ karak gözetimli ö÷ renme yaklaÕPú yla,
elde edilebilecek gelirin tahmin edilmesi ve hangi reklamÕ n gösterilece÷ i kararQÕ n bu
tahmine göre verilmesi amaçlanmaktadÕ r. Mevcut durumda konu alanÕ uzmanlarÕ
tarafÕ ndan sezgisel olarak yerine getirilen bu tahmin görevinin, makine ö÷ renmesi
modelleriyle daha iyi tahmin edilmesi ve bu modellerin sürekli iyileú tirilerek tahmin
baú arQÕV n zaman içinde daha da arttUÕ lmasÕ beklenmektedir. Bu görevleri yerine
getirebilmek için mevcut yazÕO m sisteminde makine ö÷ renmesi ile ilgili bileú enlerin
geliú tirilmesi gerekmektedir. Bu çalÕú mada bu amaca hizmet edecek bir mimari
tasarÕ m sunulmuú tur.</p>
      <p>Gelecek çalÕú malar kapsamÕ nda bu mimari tasarÕ m do÷ rultusunda geliú tirmeler
yapÕ lacaktÕ r. Bu geliú tirmeler yapÕO rken Kokteyl firmasQÕ n yazÕO m geliú tirme süreci
(mevcut süreç için bkz. [25]) makine ö÷ renmesi yetenekleri geliú tirilebilecek ú ekilde
düzenlenecektir.</p>
      <p>Teú ekkür</p>
    </sec>
    <sec id="sec-4">
      <title>Kaynakça</title>
      <p>Bu çalÕú ma TÜBø TAK’Õ n deste÷ iyle 3171053 numaralÕ proje kapsamÕ nda yapÕ lmÕúW r.
23. NIST Big Data Public Working Group, Reference Architecture Subgroup: NIST Big Data
Interoperability Framework: Volume 6, Reference Architecture. NIST Special Publication
1500-6r1, Version 2, (2018). https://doi.org/10.6028/NIST.SP.1500-6r1
24. Algorithmia: Deploying Machine Learning at Scale with Serverless Microservices.</p>
      <p>Whitepaper, (2018).
25. Giray, G., Yilmaz, M., O’Connor, R. V., Clarke, P. M.: The Impact of Situational Context
on Software Process: A Case Study of a Very Small-Sized Company in the Online
Advertising Domain. In: European Conference on Software Process Improvement, pp.
2839. Springer, Cham, (2018).</p>
    </sec>
  </body>
  <back>
    <ref-list>
      <ref id="ref1">
        <mixed-citation>
          1.
          <string-name>
            <surname>Llach</surname>
          </string-name>
          , E.:
          <article-title>System for automatically selling and purchasing highly targeted and dynamic advertising impressions using a mixture of price metrics</article-title>
          .
          <source>U.S. Patent Application No. 10/767</source>
          ,050 (
          <year>2004</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref2">
        <mixed-citation>
          2.
          <string-name>
            <given-names>O</given-names>
            <surname>'Kelley</surname>
          </string-name>
          ,
          <string-name>
            <surname>B.</surname>
          </string-name>
          :
          <article-title>Method and system for pricing electronic advertisements</article-title>
          .
          <source>U.S. Patent Application No. 11/006</source>
          ,121 (
          <year>2006</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref3">
        <mixed-citation>
          3.
          <string-name>
            <surname>Paunikar</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Hochberg</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Dynamic pricing for content presentations</article-title>
          . U.S. Patent No.
          <volume>8</volume>
          ,
          <issue>706</issue>
          ,
          <fpage>547</fpage>
          . 22 (
          <year>2014</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref4">
        <mixed-citation>
          4.
          <string-name>
            <surname>Chapelle</surname>
            ,
            <given-names>O.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Manavoglu</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Rosales</surname>
          </string-name>
          , R.:
          <article-title>Simple and scalable response prediction for display advertising</article-title>
          .
          <source>ACM Transactions on Intelligent Systems and Technology (TIST) 5</source>
          (
          <issue>4</issue>
          ),
          <source>Article</source>
          <volume>61</volume>
          (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref5">
        <mixed-citation>
          5.
          <string-name>
            <surname>Li</surname>
            ,
            <given-names>L. E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Chen</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          , Hermann,
          <string-name>
            <surname>J.</surname>
          </string-name>
          , Zhang,
          <string-name>
            <given-names>P.</given-names>
            ,
            <surname>Wang</surname>
          </string-name>
          ,
          <string-name>
            <surname>L.:</surname>
          </string-name>
          <article-title>Scaling machine learning as a service</article-title>
          .
          <source>In: International Conference on Predictive Applications and APIs</source>
          , pp.
          <fpage>14</fpage>
          -
          <lpage>29</lpage>
          . (
          <year>2017</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref6">
        <mixed-citation>
          6.
          <string-name>
            <surname>Taifi</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          :
          <article-title>Lessons Learned from Building Scalable Machine Learning Pipelines</article-title>
          ,
          <source>In: PAPIs Europe</source>
          <year>2018</year>
          . https://techblog.appnexus.
          <article-title>com/lessons-learned-from-building-scalablemachine-learning-pipelines-822acb3412ad, son eriú im tarihi: 30 Eylül 2018</article-title>
          .
        </mixed-citation>
      </ref>
      <ref id="ref7">
        <mixed-citation>
          7. Õ.
          <article-title>rka÷ açl÷ÕR lu</article-title>
          , Ö.,
          <string-name>
            <surname>Giray</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ersin</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          , ÇatÕ kkaú , C.,
          <string-name>
            <surname>Koçer</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          , ù eremet, T., ÜnalÕ r, M. O.:
          <string-name>
            <surname>Bir Reklam AracÕV YazQPOÕ n Mimari</surname>
          </string-name>
          <article-title>Evrimi</article-title>
          . In: 12.
          <string-name>
            <surname>Ulusal YazOÕ m Mühendisli</surname>
          </string-name>
          <article-title>÷ i Sempozyumu. ø stanbul (</article-title>
          <year>2018</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref8">
        <mixed-citation>
          8.
          <string-name>
            <surname>Russell</surname>
            ,
            <given-names>S. J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Norvig</surname>
            ,
            <given-names>P.</given-names>
          </string-name>
          :
          <article-title>Artificial intelligence: a modern approach</article-title>
          . Pearson Education Limited,
          <string-name>
            <surname>Malaysia</surname>
          </string-name>
          (
          <year>2016</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref9">
        <mixed-citation>
          9.
          <string-name>
            <given-names>Gartner</given-names>
            <surname>Report</surname>
          </string-name>
          : Forecast:
          <article-title>Enterprise software markets</article-title>
          .
          <source>Worldwide</source>
          ,
          <fpage>2011</fpage>
          -
          <lpage>2016</lpage>
          , 4Q12 Update.
          <article-title>(</article-title>
          <year>2012</year>
          ). http://www.gartner.
          <source>com/resId=2054422, son eriú im tarihi 30 Eylül 2018</source>
        </mixed-citation>
      </ref>
      <ref id="ref10">
        <mixed-citation>
          10.
          <string-name>
            <surname>Sapp</surname>
            ,
            <given-names>C. E.</given-names>
          </string-name>
          :
          <article-title>Preparing and Architecting for Machine Learning</article-title>
          .
          <source>Gartner. ID: G00317328</source>
          . (
          <year>2017</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref11">
        <mixed-citation>
          11.
          <string-name>
            <surname>Azevedo</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Filipe</surname>
            <given-names>Santos</given-names>
          </string-name>
          ,
          <string-name>
            <surname>M.</surname>
          </string-name>
          :
          <article-title>KDD, semma and CRISP-DM: A parallel overview</article-title>
          .
          <source>In: IADIS European Conference on Data Mining</source>
          <year>2008</year>
          , pp.
          <fpage>182</fpage>
          -
          <lpage>185</lpage>
          . Amsterdam, The Netherlands (
          <year>2008</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref12">
        <mixed-citation>
          12.
          <string-name>
            <surname>Labrinidis</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jagadish</surname>
            ,
            <given-names>H. V.</given-names>
          </string-name>
          :
          <article-title>Challenges and opportunities with big data</article-title>
          .
          <source>In: Proc. VLDB Endow</source>
          , pp.
          <fpage>2032</fpage>
          -
          <lpage>2033</lpage>
          . (
          <year>2012</year>
          ). DOI=http://dx.doi.org/10.14778/2367502.2367572.
        </mixed-citation>
      </ref>
      <ref id="ref13">
        <mixed-citation>
          13.
          <string-name>
            <surname>Pruss</surname>
            ,
            <given-names>L.</given-names>
          </string-name>
          :
          <article-title>Infrastructure 3.0: Building blocks for the AI revolution</article-title>
          . (
          <year>2017</year>
          ). https://venturebeat.com/
          <year>2017</year>
          /11/28/infrastructure-3
          <article-title>-0-building-blocks-for-the-airevolution/</article-title>
          ,
          <source>son eriú im tarihi: 24 Eylül</source>
          <year>2018</year>
          .
        </mixed-citation>
      </ref>
      <ref id="ref14">
        <mixed-citation>
          14.
          <string-name>
            <surname>Schleier-Smith</surname>
            ,
            <given-names>J.:</given-names>
          </string-name>
          <article-title>An architecture for Agile machine learning in real-time applications</article-title>
          .
          <source>In: Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining</source>
          , pp.
          <fpage>2059</fpage>
          -
          <lpage>2068</lpage>
          . ACM (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref15">
        <mixed-citation>
          15.
          <string-name>
            <surname>Provost</surname>
            ,
            <given-names>F.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fawcett</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          :
          <article-title>Data Science for Business.</article-title>
          <string-name>
            <surname>O'Reilly Media</surname>
          </string-name>
          , Inc. (
          <year>2013</year>
          ).
          <source>ISBN: 9781449374273</source>
        </mixed-citation>
      </ref>
      <ref id="ref16">
        <mixed-citation>
          16.
          <string-name>
            <surname>Sculley</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Holt</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Golovin</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Davydov</surname>
            ,
            <given-names>E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Phillips</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ebner</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Chaudhary</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Young</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Crespo</surname>
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Dennison</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          :
          <article-title>Hidden technical debt in machine learning systems</article-title>
          .
          <source>In: Advances in neural information processing systems</source>
          , pp.
          <fpage>2503</fpage>
          -
          <lpage>2511</lpage>
          . (
          <year>2015</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref17">
        <mixed-citation>
          17.
          <string-name>
            <surname>Diker</surname>
            ,
            <given-names>N.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Giray</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          , ÜnalÕ r, M. O.:
          <article-title>Servis TabanlÕ Bir Melez Veri Eriú im Mimarisi Önerisi</article-title>
          . In: 10.
          <string-name>
            <surname>Ulusal YazÕO m Mühendisli</surname>
          </string-name>
          <article-title>÷ i Sempozyumu</article-title>
          . Çanakkale, (
          <year>2016</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref18">
        <mixed-citation>
          18.
          <string-name>
            <surname>Ananthanarayanan</surname>
            ,
            <given-names>R.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Basker</surname>
            ,
            <given-names>V.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Das</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Gupta</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Jiang</surname>
            ,
            <given-names>H.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Qiu</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Reznichenko</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ryabkov</surname>
            ,
            <given-names>D.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Singh</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Venkataraman</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          : Photon:
          <article-title>Fault-tolerant and scalable joining of continuous data streams</article-title>
          .
          <source>In: SIGMOD'13: Proceedings of the 2013 international conference on Management of data</source>
          , pp.
          <fpage>577</fpage>
          -
          <lpage>588</lpage>
          . New York, NY, USA (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref19">
        <mixed-citation>
          19.
          <string-name>
            <surname>Kim</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zimmermann</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>DeLine</surname>
          </string-name>
          , R.,
          <string-name>
            <surname>Begel</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>The emerging role of data scientists on software development teams</article-title>
          .
          <source>In: Proceedings of the 38th International Conference on Software Engineering</source>
          , pp.
          <fpage>96</fpage>
          -
          <lpage>107</lpage>
          . ACM (
          <year>2016</year>
          ).
        </mixed-citation>
      </ref>
      <ref id="ref20">
        <mixed-citation>
          20.
          <string-name>
            <surname>Kim</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Zimmermann</surname>
            ,
            <given-names>T.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>DeLine</surname>
          </string-name>
          , R.,
          <string-name>
            <surname>Begel</surname>
            ,
            <given-names>A.</given-names>
          </string-name>
          :
          <article-title>Data Scientists in Software Teams: State of the Art and Challenges</article-title>
          .
          <source>IEEE Transactions on Software Engineering</source>
          . (
          <year>2017</year>
          ). doi:
          <volume>10</volume>
          .1109/TSE.
          <year>2017</year>
          .2754374
        </mixed-citation>
      </ref>
      <ref id="ref21">
        <mixed-citation>
          21.
          <string-name>
            <surname>Simard</surname>
          </string-name>
          , P. Y.,
          <string-name>
            <surname>Amershi</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Chickering</surname>
            ,
            <given-names>D. M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Pelton</surname>
            ,
            <given-names>A. E.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ghorashi</surname>
            ,
            <given-names>S.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Meek</surname>
            ,
            <given-names>C.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Ramos</surname>
            ,
            <given-names>G.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Suh</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Verwey</surname>
            ,
            <given-names>J.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wang</surname>
            ,
            <given-names>M.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Wernsing</surname>
            ,
            <given-names>J.:</given-names>
          </string-name>
          <article-title>Machine teaching: A new paradigm for building machine learning systems</article-title>
          . (
          <year>2017</year>
          ).
          <source>arXiv preprint arXiv:1707</source>
          .
          <fpage>06742</fpage>
          .
        </mixed-citation>
      </ref>
      <ref id="ref22">
        <mixed-citation>
          22.
          <string-name>
            <surname>Waller</surname>
            ,
            <given-names>M. A.</given-names>
          </string-name>
          ,
          <string-name>
            <surname>Fawcett</surname>
            ,
            <given-names>S. E.</given-names>
          </string-name>
          :
          <article-title>Data science, predictive analytics, and big data: a revolution that will transform supply chain design and management</article-title>
          .
          <source>Journal of Business Logistics</source>
          <volume>34</volume>
          (
          <issue>2</issue>
          ), pp.
          <fpage>77</fpage>
          -
          <lpage>84</lpage>
          . (
          <year>2013</year>
          ).
        </mixed-citation>
      </ref>
    </ref-list>
  </back>
</article>