Giriş

Yazılım test otomasyonu bir zorunluluk değil ihtiyaçtır. Bu makalede test otomasyonuna duyulan ihtiyacın nasıl belirleneceği ve sonrasında yapılması gerekenler yaşanılan tecrübeler doğrultusunda anlatılmıştır.

Test Otomasyonuna Duyulan Đhtiyacın Belirlenmesi ve Test Otomasyonundan Beklentiler

Yazılım test otomasyonu ile temelde tekrarlı iş kalemlerinin minimuma indirilmesi, daha kararlı ve tekrar edebilen test senaryolarının oluşturulması/koşturulması ve bu işlemler esnasında harcanan işçiliğin düşürülmesi beklenmektedir. Ayrıca manuel test ile yapılamayacak bazı test senaryoları test otomasyonu ile gerçekleştirilebilir. Örneğin kullanıcı arayüzünde bir insanın verebileceği tepkiden daha hızlı bir tepki gerek olduğu durumlarda bu ancak yardımcı bir yazılım veya test otomasyonu ile testleri koşturmak mümkün olabilir. Test otomasyonu aynı zamanda çok fazla test girdisi ile yapılan tekrarlı testler için sıklıkla kullanılır. Yazılım test otomasyon faaliyetleri uzun vadede zaman ve iş gücü kazancı sağlaması gerekirken otomasyon faaliyetlerine başlamadan önce yapılan yetersiz ölçüm ve ön çalışmalar nedeniyle zaman, iş gücü ve hatta ilgili ekibin motivasyon ve itibar kaybına neden olmaktadır. Yazılım test otomasyonu zaman, sabır ve bilinçli bir ekip isteyen zorlu bir süreçtir. Bu süreç içinde atılan adımların titizlikle seçilmesi başarıya giden yolda en büyük etkendir.

Yazılım test aracından doğru beklentiler ile sıkça düşülen hatalı beklentiler aşağıda belirtilmiştir.

Yazılım test otomasyonundan başlıca beklentiler:

• Regresyon testlerinin tekrar tekrar yapılabilmesi • Testlerin daha sık koşturulabilmesi • Manuel olarak yapılması zor ya da imkânsız testlerin yapılabilmesi

Yazılım Test Otomasyonu Maliyet ve Fayda Analizi

Yazılım test otomasyonu maliyetli bir süreçtir. Toplam maliyete kullanılacak test aracının lisans maliyeti, testlerin otomasyonu için harcanan işgücü(test aracının kullanımının öğrenilmesi ve testlerin otomasyona aktarılması için gereken işgücü) maliyeti ve otomasyona aktarılan testlerin bakımı için gereken işgücü maliyeti sayılabilir. Maliyet hesaplanmasında birçok bilimsel çalışma yapılmıştır. Aşağıda örneğini verdiğimiz hesaplama yöntemi yazılım test alanında yer etmiş "evrensel formül" olarak kabul edilir [5]. Bu formülün amacı manuel testlerin yapılması için gerekli maliyet ile otomasyona aktarılmış testlerin yapılması için gerekli maliyetin karşılaştırılmasıdır. Bu karşılaştırma sonucu test otomasyonu sürecinde en başta harcanan yüksek maliyetin kaç test tekrarı sonrasında karşılandığı ve her test tekrarında kar edilmesi tahmin edilen maliyet hesaplanır(Şekil 1).

Şekil 1 Test Maliyeti Koşum Sayısı Grafiği

Bu iki formül kullanılarak başa baş noktası hesaplanır. Başa baş noktası testlerin otomasyona geçirilmesi kararının verilmesi esnasında maliyet açısından yapılması gereken en az koşum sayısını belirlemeyi sağlar. Böylece bulunan koşum sayısının altında kalınıyorsa ve maliyet dışında başka bir kıstas yoksa testlerin otomasyona geçirilmesi maliyet açısından mantıklı değildir.

Seçilmiş bir projede yapılan ölçümlerde; manuel test tasarımı yapılması ve testlerin tanımlanması 10 adam saat, her bir koşum maliyeti de 30 adam saattir. Otomasyon ile testlerin koşturulması için test tasarım ve tanımlama maliyeti 70 adam saat ve her bir koşum maliyeti de 10 adam saattir. Şekil 1'de gösterilen maliyet hesabı formülü kullanılarak yapılan hesaplamada Tablo 1 elde edilir.

Testlerin Otomasyon Aracına Aktarılması

Hazırlanan ya da daha önce hazırlanmış olan test tanımlarının test aracına aktarılması işlemidir. Daha önce ön çalışması yapılarak tecrübeler kazanılmış test aracı ile ekip olarak çalışmalara başlanır. Testlerin tamamının aktarılması için planlama yapılmamalı, her sürümde koşturulacağı düşünülen testlere öncelik verilmelidir. Ayrıca yine karmaşık senaryoları olan testlerden başlamak yerine daha basit ve tekrarlı testleri ilk başlarda aktararak hem ekibin test aracını ve test metodolojilerini öğrenmesi sağlanır aracına olan yabancılığı giderilir hem de testlerin hazırlanması ve koşturulması planlanan tarihlerden sapmadığı için ekibin motivasyon kaybı yaşamaması sağlanır.

Özellikle kullanıcı arayüzü yazılımlarının testlerinin otomasyona aktarılmasında unutulmaması gereken noktalardan bir tanesi, test otomasyonunun hiç bir zaman manuel testlerin yerini almayacağıdır. Test otomasyonu son kullanıcının uygulamayı kullanırken yaşadığı gerçek deneyimin, kullanım kolaylığı gibi müşteri memnuniyetini etkileyebilecek detayların ölçülmesinde kullanılamaz. Bu sebeple test otomasyonu yanında manuel testler de kaliteyi doğrudan ilgilendirdiği için gereklidir ve yapılmalıdır.

Ayrıca testler esnasında kullanıcı etkileşimli işlemler yapılacaksa bu gibi testlerin de test aracına aktarılmaması gerekir. Örneğin yazıcı çıktısının karşılaştırıldığı bir testi ya da harici bellek takılması/çıkarılması işlemlerinin yapıldığı testler ya da bazı donanımların fiziksel olarak çıkarılıp takılması ile ilgili olan testler otomasyon aracına aktarılmamalıdır.

Test Otomasyonuna Geçirilen Testlerin Konfigürasyon Kontrolü Altına Alınması

Teşekkür

Bu makaleye tavsiyeleri ve yorumları ile katkı sağlayan Ergün Doğan'a katkılarından dolayı teşekkür ederiz.