Özet. Kurumsal raporlama çözümlerinin genellikle tercih ettikleri geleneksel disk tabanlı veritabanı sistemleri, veri hacmindeki artışla birlikte yetersiz kalmaktadır. Geleneksel sistemleri kullanan raporlama çözümleri büyük veri üzerinde çalışan sorgularda kabul edilebilir sürelerde cevap vermekte zorlanmakta ve rapor sorgularının derinliği arttıkça sistem isteklere cevap veremez duruma gelmektedir. Ayrıca sistem üzerinde ciddi bir iş yükü oluşturan bu durum, diğer işlemlerin performansını olumsuz yönde etkilemektedir. Bu çalışmada, geleneksel veritabanı sistemlerinin cevap vermekte zorlandığı sorgular için bellek içi veritabanının mevcut sisteme destek olarak kullanımı detaylı bir şekilde incelenmiştir. Çalışma kapsamında sırasıyla geleneksel veritabanı ile birlikte çalışan bellek içi veritabanı sisteminin genel mimarisi hazırlanmış, bellek içi veritabanı üzerinde çalışacak raporların belirlenmesi için mevcut rapor kayıtları incelenmiştir. Son olarak önerdiğimiz yeni sistemin performansını ölçmek ve geleneksel sistemle karşılaştırmak amacıyla gerçek veriler kullanılarak test çalışmaları yapılmıştır.
Bu çalışma kapsamında, geleneksel veritabanı sistemlerine destek olarak bellek içi veritabanı kullanımı incelenecektir. Çalışmanın amaçları daha ekonomik bir raporlama çözümü sunarak raporlama işlemine hız kazandırmak ve sistem üzerindeki yükü azaltarak genel bir performans artışı sağlamaktır. Bir başka amaç ise cevap alınamayan, büyük veri üzerinde çalışan rapor isteklerine cevap verilebilmesidir. İdea Teknoloji Çözümleri bünyesinde gerçekleştirilen bu çalışma, gerçek müşteri verisi üzerinde de test edilmiş ve elde edilen bulgular değerlendirilmiştir. Plattner ve Zeier’in de kitaplarında belirttiği üzere, verinin önemi ve boyutu gittikçe artmakta, bellek içi teknolojiler ise bu verilerin analiz edilmesini ve stratejik kullanımını yüksek performansla sağlayabilmekte, bu avantaj da kurumlarda yeni senaryo ve fırsatların önünü açmaktadır [3].
Makalenin organizasyonu şu şekilde özetlenebilir; Giriş Bölümü’nde çalışmanın temel aldığı problemler, amaçlar ve kapsama ilişkin bilgiler verilmiştir. İkinci bölümde geleneksel disk tabanlı yapılar incelenmiş olup, ilgili bazı sayısal ve istatistiksel bilgilere yer verilmiştir. Üçüncü bölümde ise tasarlanan bellek içi veritabanı destekli yapı hakkında genel bilgiler verilmiş, avantajları incelenerek, hazırlanan sistem mimarisi anlatılmıştır. Ayrıca bu bölümde gerçek veri üzerinde yapılan ve rapor kayıtlarını baz alan incelemeler yer almaktadır. Bu incelemeler sistemdeki farklı sistemlerden çalışacak raporların seçimi ile ilgili çalışmaları içermektedir. Dördüncü bölüm olan performans testleri bölümünde ise örnek veri ve raporlar kullanılarak geleneksel sistem ile ve hazırlanan bellek içi veritabanı destekli sistem arasında bir performans bazlı karşılaştırma yapılmıştır. Sonuç bölümünde ise bu çalışmadan elde edilen sonuçlar özetlenerek, tasarlanan bellek içi veritabanı destekli mimarinin kurumsal raporlama çözümlerine olan katkılarından bahsedilmiştir. 2
Bilgisayar destekli ve veri odaklı çözümlerin birçoğunda uzun yıllardır disk tabanlı veritabanları kullanılmaktadır. Disk tabanlı veritabanı sistemlerinde ana bileşen disktir ve veri diskte bulunur, burada işlem görür, veri isteklerine yanıt bu bileşen aracılığıyla verilir. Bu sistemlerin birçoğu önbellek yapısından destek almaktadır. Önbellek desteği veriye okuma erişimini kolaylaştırsa ve hızlandırsa da, veritabanında yer alan veriye erişim bellek yapısıyla karşılaştırıldığında halen yetersiz kalmaktadır. Okuma ve yazma hızındaki bu problem birçok sistemde önbellek desteği ile çözülebilmektedir. Ancak büyük veri üzerinde yapılan işlemlerde önbellek yetersiz kalmaktadır. İşlem isteği ile ilgili olan büyük verinin önbelleğe alınması, önbellekte saklanması mümkün olmamaktadır. Bu sebeple büyük veri üzerinde yapılan işlemlerde önbellek kullanılamamakta, diskin sahip olduğu okuma ve yazma yetenekleri kullanılabilmektedir. Bu durum da zaman açısından ciddi bir maliyet yaratmaktadır.
Şekil 1’de görüldüğü üzere, temel bir geleneksel mimaride sunucu kullanıcılar ile geleneksel veritabanı arasındaki iletişimi sağlar. İnternet üzerinden gelen rapor istekleri, geleneksel veritabanı sunucusu üzerinden geleneksel disk tabanlı veritabanına iletilir. İlgili rapor isteğine cevap geleneksel veritabanı sisteminde hazırlanarak yine sunucu vasıtasıyla internet üzerinden kullanıcıya iletilir.
Büyük veri üzerinde çalışan, derinliği ve karmaşıklığı yüksek rapor isteklerinde, isteğe ait işlem disk tabanlı veritabanı üzerinde oldukça uzun bir zaman alacaktır. Bu işlem sürmekte iken gelen diğer istekler için performans düşeceği gibi, sistem üzerinde yaşanan yük tüm diğer işlemleri etkileyecektir.
Şekil 1. Geleneksel Disk Tabanlı Veritabanı Sistem Mimarisi 3 3.1
Gelişen teknoloji ve yaşanan değişimler donanım sektöründeki önemli gelişmelerin yolunu açmıştır. Donanım sektöründe yaşanan bu gelişmeler bellek donanımlarında ciddi bir gelişmeyle birlikte maliyet düşüşü olarak da yansımıştır. Bellek içi veritabanı teknolojisi çok uzun sürelerdir mevcut olmasına rağmen yüksek maliyet sebebiyle yaygın olarak kullanılamamaktaydı. Yaşanan gelişmeler ise bellek içi veritabanı sistemlerinin daha az maliyetle kullanılabilmesini sağlamıştır. Bellek içi veritabanı sistemlerini inceleyen bir çalışmada da yaşanan gelişmelerin, özellikle 64-bit sunucuların gelişmesiyle bellek içi veritabanlarının yüksek kapasitelere ulaşarak, birçok alanda daha çok kullanılır hale geldiğinden bahsedilmektedir [2]. Farklı bir çalışmada ise performans odaklı sistemlerde bellek içi veritabanı sistemlerinin önemli bir paya sahip olmaya başladığı, bu sistemlerin yüksek hızda işlem kapasitesine sahip olduğu, önbellek gereksinimini ortadan kaldırdığı ve çoklu kullanıcılı sistemlerde rahatlıkla kullanılabildiğine değinilmiştir [4].
Birçok çalışmada açıkça belirtildiği üzere belleğe erişim, okuma ve yazma işlemleri diske erişim, okuma ve yazma işlemlerinden çok daha kısa sürede sağlanabilmektedir. Bellek tabanlı veritabanları da bu avantajdan faydalanmaktadır. Böylece hem okuma hem de yazma işlemlerinde çok ciddi bir hızlanma yakalanabilmektedir.
Bellek içi veritabanı sistemlerinde tüm veri bellek üzerinde tutulmakta, okuma
ve yazma işlemleri bellek üzerinden sağlanmaktadır. Disk tabanlı sistemlerden
farklı olarak veri okuma ve veri üzerinde işlem yapılabilmesi için, verinin başka bir
yapıya taşınması söz konusu değildir. Bellek içi veritabanlarını farklı bir açıdan
konu alan başka bir çalışmada, rastgele erişimli belleklerin, disk erişimine gerek
bırakmadığı için performans açısından ciddi bir katkı sağladığına değinilmiştir [
Çalışma bünyesinde hazırlanan bellek içi veritabanı destekli mimarinin çalışma prensibi ile ilgili temel tasarım Şekil 2’de verilmiştir. Bu mimaride geleneksel disk tabanlı veritabanı sistemi ve bu sisteme ait sunucu ile bellek içi veritabanı sistemi ve bu sisteme ait sunucu paralel bir şekilde yer alacaktır. 2011’de yapılan bir başka çalışmada bellek içi veritabanı ve disk veritabanı ile hibrid bir ilişkisel veritabanı hazırlanarak, bu sistem üzerinde çeşitli çalışmalar ve performans testleri yapılmış, önemli performans artışları sağlanmıştır. Ancak bu çalışmada geleneksel sistem ve bellek içi veritabanı sistemi aynı sunucu üzerinden çalışan ortak bir sistem olarak tasarlanmıştır [6]. Yaptığımız çalışmada ise sistemler ayrı sunucularda birbirinden bağımsız olarak gerçeklenmiştir.
Geleneksel sistem yine aynı şekilde çalışmaya devam edecek, bellek içi veritabanı sistemi ise paralel olarak bu sisteme destek olacaktır. Bir sonraki bölümde detaylı olarak anlatılacak rapor kayıtlarının incelenmesi sonrası seçilen bazı raporlar bellek içi veritabanı sistemi üzerinden çalışacak, diğer raporlar ise geleneksel veritabanı sistemi üzerinde çalışmaya devam edecektir. Böylece sistem üzerindeki yük dağıtılmış olacak, özellikle zaman ve yük açısından maliyeti yüksek olan, büyük veri üzerinde çalışacak, derinlik ve karmaşıklığı yüksek olan raporlar bellek içi veritabanı üzerinden çalışacaktır. Bu durum hem büyük veri üzerinde çalışan ve zaman maliyeti yüksek raporlarda ciddi bir hızlanma sağlayacak, hem de bu raporların yarattığı uzun süreli iş yükünden kurtulmak mümkün olacaktır.
Şekil 2. Bellek İçi Veritabanı Destekli Sistem Mimarisi
Bellek içi veritabanı sistemi sadece bu sistem üzerinde çalışacak ve çalışması planlanan raporlara ait verileri içerecektir. Bu veriler geleneksel disk tabanlı veritabanı sisteminde tutulmaya da devam edilecektir. Bellek içi veritabanı veri kaynağı olarak geleneksel sistemi kullanacaktır. Bu sebeple bu iki sistem arasında veri senkronizasyonunu sağlayan, bellek içi veritabanında tutulmakta olan verilerin doğruluk ve güncelliğini sağlayan bir modül hazırlanmıştır. Bu modül geleneksel sistem üzerinde bulunan veriler güncellendiğinde, bellek içi veritabanı sistemini ilgilendiren verilerin güncellenmesini sağlayacaktır.
Bahsedilen güncelleme işleminin çalışma prensibini belirlemek amacıyla yapılan analiz çalışmasında elde edilen sonuçlar Şekil 3 ile verilmiştir. Şekilde en çok kullanılan ve en çok veri içeren tablolara ait bilgiler verilmiştir. İlgili grafik ile tablolara ait veri ekleme/güncelleme/silme miktarı ile günün saati arasındaki ilişki gösterilmiştir. Bu bilgiler bize sabah 8:00-10:00 aralığında bir yoğunluk yaşandığını, ancak asıl yoğunluğun saat 16:00 ile 20:00 arasında olduğunu göstermektedir. Mesai bitim sürecinde bu yoğunluğun yaşanması normal görünmektedir. Bu sebeple senkronizasyon işleminin günde 3 kez yapılmasına karar verilmiştir. Bu saatlerin ilkinin mesai öncesi saat 07:00 civarında, diğerinin öğlen 12:00 sularında ve son olarak ise gece 02:00 sularında olması planlanmıştır. Böylece veri ekleme/silme/güncelleme işlemleri yoğunluğu azaldığı zamanlarda güncellemeler yapılacaktır. Günde 3 kez yapılacak toplu güncelleme işlemleri ile gün içinde verilerin güncel halde tutulması sağlanacaktır. Anlık güncelleme yönteminin seçilmemesinin başlıca sebepleri ise şu şekildedir; anlık güncelleme sistem üzerinde ciddi bir yüke sebep olacaktır ve bellek içi veritabanı sisteminden istenecek raporlar geçmişe yönelik ve uzun vadeli raporlar olacağından anlık güncel verinin önemi düşüktür.
Şekil 3. Tablo Güncelleme Analizi 3.2
Tasarlanan sistemde bellek içi veritabanı, geleneksel disk tabanlı sisteme destek olarak çalışacaktır. Böylece hem geleneksel sistem üzerindeki yük azaltılacak, hem de büyük veri üzerinde çalışacak raporların performanslarının arttırılması mümkün olacaktır. Bu yaklaşım mevcut veri üzerinde bir araştırma ihtiyacı ortaya çıkarmış ve bellek içi veritabanı üzerinde çalışacak raporlara karar verilmesini gerekli kılmıştır. Mevcut rapor kayıtlarını inceleyebilmek için bir kayıt ayrıştırıcı uygulaması (Log Parser) gerçeklenmiştir. Bu uygulama ile raporların frekansları, cevap süreleri ve ortalamaları gibi bilgiler elde edilmiştir.
Daha doğru cevap süresi ortalamaları elde edebilmek amacıyla tek yönlü budanmış ortalama (one-sided trimmed mean) yöntemi kullanılmıştır. Tek yönlü budanmış ortalama belirli bir yüzde oranındaki en yüksek veya en düşük değerlerin veri dizisinden çıkarılması sonrasında hesaplanan aritmetik ortalamadır. Bu yöntemle her raporun en yavaş %1’lik kesimde yer alan kısmı ortalama hesabından çıkarılarak bazı bağlantı veya kullanıcı kaynaklı hataların sonucu etkilememesi amaçlanmıştır. Tek yönlü budanmış çalışma hızı ortalamaları 10 saniyenin üzerinde olan raporların bellek içi veritabanında çalıştırılması uygun görülmüştür.
Bellek içi veritabanında çalıştıralacak raporların seçiminde tek yönlü budanmış ortalamaların yanı sıra rapor istek frekansları da göz önünde bulundurulmuştur. Raporların istek frekanslarının bütün rapor istekleri içindeki yüzdeleri hesaplanıp değerleri %3 ün üzerindeki raporlar seçilmiştir.
Örnek müşteri verilerinden oluşturulan alt küme incelendiğinde tek yönlü budanmış çalışma hızları 10 saniyenin üzerinde ve rapor istek frekansları %3 ün üzerinde olan rapor sayısının 5 olduğu görülmüştür ve performans testlerinde bu alt küme ve raporlar kullanılmıştır. 4
Hazırlanan bellek içi veritabanı destekli sistem ile geleneksel sistemin performansını karşılaştırmak üzere mevcut müşteri raporları kullanılmış, ayrıca test sorguları da hazırlanmıştır. Bu test sorguları farklı zorluklarda ve gerçek müşteri verisi üzerinde çalışacak şekilde oluşturulmuştur. Farklı zorluklarda ve karmaşıklıklarda mevcut olan ve hazırlanan bu rapor sorguları hem geleneksel sistemde hem de yeni hazırlanan sistemde çalıştırılarak zaman bazlı sonuçlar karşılaştırılmıştır.
Çalışma kapsamında üzerinde çalışılan test sunucusunun özellikleri şu şekildedir; 4 Intel(R) Xeon(R) CPU E7-4820 @ 2.00 Ghz işlemci, 240 GB bellek ve 300 GB disk. Sunucu üzerinde kurulu işletim sistemi ise Windows Server 2008 R2’dir. Hazırlanan test sunucusunda geleneksel disk tabanlı veritabanı ürünü olarak Oracle 11g (Release 2) veritabanı sistemi ürünü, bellek içi veritabanı olarak Oracle TimesTen (11.2.2 x64) ürünü kullanılmıştır. Oracle 11g ürünü mevcut olarak kullanılan disk temelli veritabanı sistemidir. Bellek içi veritabanı yönetim sistemine ise detaylıca yapılan ürün karşılaştırma çalışmaları sonrasında karar verilmiştir. Bu süreçte Oracle TimesTen ile birlikte Ibm SolidDb, SQLite, Altibase HDB ve Altibase XDB ürünleri detaylı testlerden geçirilmiş ve Oracle TimesTen ürünü en yüksek performansı göstermiştir. Bu detaylı ürün karşılaştırma ve test çalışmaları ile ilgili hazırlanan, proje kapsamında yer alan akademik yayın, 2013 Eylül ayında AICT - IEEE International Conference on Application of Information and Communication Technologies adlı konferansta şirketimizce sunulmuştur [7].
Farklı derinlikte ve karmaşıklıkta 5 rapor sorgusu ele alınmıştır. Bu raporların kullandıkları tablolar ve boyut bilgileri ile ilgili bilgiler Tablo 1’de ve tablolar ile ilgili detaylı bilgiler Tablo 2’de verilmiştir. Tablo 1’de verilmiş olan toplam boyut, rapor isteğinin erişeceği tablolara ait toplam boyutu temsil etmektedir. Tablolara ait detaylı bilgilerin verildiği Tablo 2’de ise ilgili tablolara ait satır sayıları ve MB cinsinden boyutları yer almaktadır.
Raporlar hem geleneksel disk tabanlı veritabanı sisteminde hem de yeni önerilen bellek içi veritabanı destekli sistemde çalıştırılarak zaman boyutunda Rapor Rapor 1 Rapor 2 Rapor 3 Rapor 4 Rapor 5
Tablo 1. Rapor Bilgileri
Tablolar Şube Tablosu Müşteri Tablosu
Fatura Tablosu Fatura Ödeme Planı Tablosu Ödeme Planı Tablosu Şube Rolü Tablosu Şirket Rolü Tablosu
Rota Tablosu Rota Detay Tablosu
Şube Tablosu Müşteri Tablosu
Fatura Tablosu Fatura Detay Tablosu
Ürün Tablosu Başvuru Tablosu
Bölge Tablosu Şube Rolü Tablosu
Rota Tablosu Rota Detay Tablosu Şube Tablosu Ürün Tablosu
Başvuru Tablosu Stok Durum Tablosu
Depo Tablosu
Depo Hareket Tablosu Depo Ürün Hareket Tablosu Depo Hareket Tipi Tablosu Depo Stok Geçmişi Tablosu
Şube Tablosu Müşteri Tablosu
Fatura Tablosu Fatura Detay Tablosu
Ürün Tablosu Şube Rolü Tablosu Şirket Rolü Tablosu
Fatura Tablosu Fatura Detay Tablosu
Toplam Boyut (MB) 12714.88 karşılaştırılmıştır. Alınan sonuçlar ciddi bir hızlanmanın olduğunu göstermektedir. İlgili sonuçlar saniye cinsinden Tablo 3’te verilmiştir. Diğer yandan sistemde kullanılan sabit disk ve bellek yapılarının veri transfer hızları incelenmiştir. Sunucu üzerinde yer alan sabit diskin veri transfer hızı 600MB/s iken belleğin veri transfer hızı 12800MB/s’dir. Sabit disk ve bellek arasında bulunan yaklaşık 20 kat olan hız farkı, bu çalışmada yer alan sonuçlara doğrudan etkide bulunmuştur. Ayrıca sıkıştırma ve küp tablo kullanımı gibi etkenler ile bu hızlanma oranı daha da yukarılara çekilebilmektedir. Tüm bu sonuçlar Tablo 3’te açıkça görülebilmektedir.
Tablo 2. Tablo Bilgileri
Tablo Başvuru Tablosu
Bölge Tablosu
Depo Hareket Tablosu Depo Hareket Tipi Tablosu Depo Stok Geçmişi Tablosu
Depo Tablosu Depo Ürün Hareket Tablosu Fatura Ödeme Planı Tablosu
Fatura Tablosu Fatura Detay Tablosu
Müşteri Tablosu Ödeme Planı Tablosu Rota Detay Tablosu
Rota Tablosu Stok Durum Tablosu Şirket Rolü Tablosu Şube Rolü Tablosu Şube Tablosu Ürün Tablosu Çalışma bünyesinde elde edilen bulgular, büyük veri odaklı çalışan kurumsal raporlama çözümlerinde, hazırlanan bellek içi veritabanı destekli mimarinin performans açısından olumlu etki yaratacağı öngörüsünü desteklemiştir.
Rapor isteklerinin derinlik ve karmaşıklığına göre geleneksel ve bellek içi veritabanı destekli sisteme ayrıştırılması ile büyük veri üzerinde işlem yapma konusunda yarar sağlamıştır. Böylece geleneksel sistem üzerindeki büyük veri üzerinde çalışan rapor sorgularının çok daha yüksek performanslarda çalışması sağlanmıştır. Ayrıca geleneksel sistemden cevap alınamayan karmaşık rapor isteklerine cevap alınabilir hale gelinmiştir. Tüm bu faydalar, sistem üzerinde çalışan isteklerin sürelerinin kısalmasını sağlamıştır. Rapor isteklerinin dağıtılması sistem üzerinde oluşan yükü azalttığı gibi, cevap sürelerinde yaşanan azalma da sistem üzerindeki yükün azalması konusunda ciddi bir fayda sağlamıştır. Geliştirilen bu sistem, mevcut ürünleri kullanmakta ve bilinen bazı algoritmaları baz almaktadır. Ancak geliştirilen sistem ve iş akışı özgün bir yapıya sahiptir.
Bellek içi veritabanı sistemi üzerinde çalışacak raporların seçiminde verinin yapısı ve kullanıcı yorumu etkilidir. Ancak daha yüksek performans sağlayacağı öngörüldüğü ve ilgili çalışmalar yapıldığı için, yüksek frekansta ve yüksek karmaşıklıkta olan rapor isteklerinin bellek içi veritabanı sistemine iletilmesi, diğer daha düşük frekans ve düşük karmaşıklıktaki rapor isteklerinin ise geleneksel sistem üzerinden cevaplanması daha uygun görülmektedir.
Sonuç olarak, özellikle büyük veri üzerinde çalışmakta olan ve rapor karmaşıklıkları yüksek olan kurumsal raporlama ve benzeri çözümlerde, bellek içi veritabanı destekli bir yapının hem performans hem de sistem kaynak kullanımı açısından ciddi bir yararı olduğu ve büyük veri üzerinde çalışmayı kolaylaştırdığı, çalışmanın mümkün olmadığı durumlarda ise bunu mümkün kılabildiği ortaya konulmuştur. 6
Teşekkür
Bu bildirideki çalışmalar "İdea Teknoloji ve Bilgisayar Çözümleri Ltd. Şti." kurumu tarafından 3120961 numaralı TEYDEB projesi kapsamında desteklenmiştir.