HIPI ile Dağıtık Görüntü İşleme Çatısı: Yüz Bölgelerine Ait Biometrileri Saptama Performansının İncelenmesi

Abstract

With the increasing usage of social media and widespread usage of digital technologies, data are produced from different resources in various types, such as texts, images and videos. It is very important to store, process and analyze big image data. In this study, we detect region of interests such as face, eye, nose, and nose on two datasets, one is Bao face dataset and another is Cross-Age Celebrity Dataset (CACD). The proposed framework is based on distributed Hadoop Image Processing Interface (HIPI). In the framework, images are firstly converted to HIB image bundles using HIPI. Then, for the parallel biometric detection, mapper and reducer functions in the Hadoop are defined. Finally, application is run on real data. The precision values are presented for each detected biometrics.

Keywords

• Big image data
• HIPI image processing library
• face detection
• eye detection
• nose detection
• mouth detection
• Hadoop
• MapReduce

-

Son yıllarda çoklu-medya kullanımı özellikle internetin gelişmesine paralel olarak çok hızlı bir şekilde artmıştır. Flicker, Youtube ve Facebook gibi sosyal paylaşım sitelerinde tutulan çoklu-medya verileri çok büyük boyutlara ulaşmıştır. Arama motorları da günümüzde çoklu-medya arama özelliği sunduklarından, bu boyutta görüntü verilerinin kaydedilmesini ve işlenmesini yönetmek zorundadırlar. Bu kadar büyük çoklu-medya verisinin tutulması ve paralel olarak işlenmesi için dağıtık sistemler kullanılmaktadır. Dağıtık sistemin yeni eklenen verilerle güvenli bir şekilde büyüyebilmesi ve bu veriler üzerinde paralel işleme yapılabilmesine olanak sağlaması gerekmektedir. Görüntülerin sınıflandırılabilmesi ve içeriğinde çeşitli aramalar yapılabilmesi için görüntü işleme algoritmalarının da bu dağıtık sistem içerisinde hızlı ve paralel bir şekilde çalıştırılabilir olması gerekmektedir [ 1-3 ]. Yukarıdaki nedenlerden dolayı görüntüleri paralel işleyebilen HIPI görüntü işleme arayüzünü birçok görüntü üzerinde kullanarak yüz bölgesinde yer alan çeşitli biyometrilerin (yüzün kendisi, göz, burun, ağız) saptanması ve performansının incelenmesi amaçlanmıştır.

Dağıtık Dosya Sistemleri (DDS) günümüzde disklerin ve depolama kaynaklarının ortaklaşa kullanımını sağlayıp dağıtık sistemler aracılığıyla büyük ölçekte hesaplamalar ve işlemler yapılmasına olanak sağlamaktadırlar. Birçok DDS mimarisi mevcut olup proje kapsamında yaygın olarak kullanılan Hadoop Dağıtık Dosya Sisteminden (HDFS) yararlanılmıştır [ 4 ]. Apache Hadoop, HDFS ve MapReduce paradigmasını bir araya getirerek sıradan bilgisayarlar kullanarak dağıtık programlamayı sağlayan açık kaynaklı bir kütüphane kullanılmıştır.

Bu çalışma ile aşağıdaki katkılar sağlanmıştır:

   

Paralel görüntü işleme çalışmaları açıklandı.

Kullanımı ve bir projeye entegrasyonu tam olarak açık bir şekilde belirtilmemiş açık kaynak HIPI kütüphanesinin detayları anlatıldı.

Görüntü işleme açısından istenilen amaca göre map ve reduce fonksiyonlarının nasıl tasarlanması gerektiğinden bahsedilmiştir.

Farklı sayılarda girişlere göre ölçeklenebilirlik analizi yapılmıştır.

Çalışmanın geri kalanı şu şekilde organize edilmiştir. 2 bölümde, literatürde var olan görüntüden yüz, göz, ağız ve burun saptama çalışmalarından bahsedilmiştir. 3. bölümde, HIPI kütüphanesi anlatılmıştır. 4. Bölümde, HIPI kullanılarak gerçekleştirilen birtakım testler ve analizler verilip sonuçlar değerlendirilmiştir. Son kısımda ise sonuçlar sunulup gelecek çalışmalardan bahsedilmiştir. 2 Görüntüden yüz, göz, ağız ve burun saptama çalışmaları

Görüntüden yüz, göz, ağız ve burun bulma bulma çalışmaları biyometrik tanıma, video izleme ve insan-bilgisayar etkileşimi gibi farklı alanlarda sıkça yapılagelmektedir. Paralel ve dağıtık programlama ile bu tür saptamaların hem daha hızlı hem de daha çok görüntü üzerinde işlem yapılması sağlanmaktadır. Chouchene ve arkadaşları yüz saptamak amaçlı ilk olarak Viola and Jones algoritmasının CPU versiyonunu gerçeklemişler daha sonra CUDA (Compute Unified Device Architecture) teknolojisini kullanarak GPU (Graphical Processing Unit) versiyonunu oluşturmuşlardır. Grid topoloji ve paylaşımlı bellek kullanarak son olarak ilgili algoritmaları optimize etmişlerdir [ 5 ]. Farrugia ve arkadaşları ise gerçek zamanlı olarak yüzleri saptamak için FPGA (Field Programmable Gate Array - Alanda Programlanabilir Kapı Dizileri) üzerinde konvülosyon ve alt-örnekleme adımlarını pipeline ederek ölçeklenebilir bir miamari geliştirmişlerdir [ 6 ]. Hadjidoukas ve arkadaşları OpenMP (Open Specifications for MultiProcessing) programlama modelini kullanarak paylaşımlı bellek çoklu işlemcileri için bir yüz tanıma sistemi geliştirmişlerdir [ 7 ]. Ranjan ve Malik ise çok çekirdekli CPU’lar kullanarak önden çekilmiş görüntüler için yüz tanıma ve takip sistemi geliştirmişlerdir [ 8 ]. Nasiri ve arkadaşları renkli görüntülerdeki gözlerin tespiti için göz haritalarının bulunup paralelleştirilmesi algoritmasını gerçeklemişlerdir [ 9 ]. Rashmi ve arkadaşları da OpenMP kullanarak yüze ait bölgeleri (ağız, göz, burun) saptamışlardır [ 10 ].

Bunların yanında, yüz, göz, ağız ve burun bulma çalışmaları; çeşitli ortamlarda, pozdaki değişmede, ışık kaynağının yeri ve şiddetinin değişmesinde elde edilen sonuçlar incelenmiştir. Bizim bu çalışmalardan farkımız, elimizdeki veri setini dağıtık olarak işleyip zamandan tasarruf etmektir. Yaptığımız araştırmalara göre Hadoop mimarisinde yüz ve yüze ait biyometrilerin bulunması ile ilgili bir çalışmaya rastlanmamıştır. 3

HIPI Görüntü İşleme Altyapısı

MapReduce uygulamaları yapısal olarak text tabanlı veri işleme ve analizine uygundur; ancak diğer tip verileri işlemek için map ve reduce metotlarında bir takım giriş ve çıkış formatlatının ayarlanması gereksinimi vardır. HIPI görüntü işleme kütüphanesi MapReduce paradigmasında imge dosyalarını işlemek için OpenCV kütüphanesiyle birlikte çalışan bir mimariyi sunmaktadır [ 11 ].

HIPI, Virginia Üniversitesinin Hadoop mimarisini temel alarak büyük boyuttaki görüntü verilerininin dağıtık olarak işlenmesini sağlayan bir altyapıdır [ 12-13 ]. Normal platformlarda büyük ölçekli görüntülerin işlenmesi oldukça zordur; ancak HIPI ile yapılan uygulamalar kullanıcıların büyük ölçekli görüntüleri kolayca işlemelerini sağlamaktadır.

4 Gerçekleştirilen Testler ve Sonuçları

Test amaçlı Bao yüz veriseti [ 14 ] ve çeşitli yaşlardaki ünlülerin görüntü veriseti (CACD) [ 15 ] kullanılmıştır. Bao yüz veriseti tek kişi veya daha fazla kişi içeren 221 adet görüntü içermekte ve boyutu 30,6 MB’tır. Testte kullanılanlar birden çok yüzü içeren görüntü dosyaları olmuştur. Testler her bir biyometri için ayrı yapılmış olup Hadoop kullanmadan, tek makinede Hadoop ile ve birden fazla makinede Hadoop ile şeklinde üç farklı senaryoda gerçekleştirilmiştir. Çalışmada OpenCV-2.4.11 versioyonu kullanılmıştır. OpenCV ön eğitilmiş bir takım saptayıcılar sunmaktadır. Tablo 1’de çalışmada kullanılan XML saptayıcılar verilmiştir. Tablo 2’de sınıflandırıcılara ait kesinlik değerleri, tek makine (native Java, MapReduce) ve birden fazla makine çalışma süreleri verilmiştir.

Tablo 1. Kullanılan sınıflandırıcılar ve XML dosyaları

Kaskad (cascade) sınıflandırıcı tipi

Yüz saptama (LBP) Göz saptama (Haar) Burun saptama (Haar) Ağız saptama (Haar)

XML dosyası

lbpcascade_frontalface.xml haarcascade_eye.xml haarcascade_mcs_nose.xml haarcascade_mcs_mouth.xml Tablo 2. Sınıflandırıcı tiplerine göre elde edilen kesinlik değerleri ve hesaplama süreleri karşılaştırması

Kaskad (cascade) sınıflandırıcı tipi

Yüz saptama

(LBP) Göz saptama

(Haar) Burun saptama

(Haar) Ağız saptama (Haar)

Kesinlik (Precision) 93,66

Tek makine (native Java) 2 dk 37 sn

Tek makine (MapReduce) 4 dk 52 sn

Birden fazla makine 4 dk 10 sn 57,23 56,76 21,82 9 dk 21 sn 10 dk 19 sn

5 dk 34 sn 10 dk 36 sn 11 dk 16 sn

8 dk 44 sn 7 dk 40 sn 9 dk 59 sn 8 dk 10 sn Bu çalışmada, daha çok metin verilerin işlenmesi için oluşturulan Apache Hadoop çatısının görüntü verileri için nasıl kullanılabileceği üzerinde durduk. Tablo 2’de gösterilen sınıflandırıcılar değiştirilerek veya yeni sınıflandırıcılarla sınıflandırma başarımı (doğruluk, kesinlik vs.) artırılabilir.

5 Sonuç ve Gelecekteki Çalışmalar

Bu çalışmada hızlı ve gürbüz yüz, göz, burun ve ağız gibi biyometrilerin dağıtık ve ölçeklenebilir olarak HIPI görüntü işleme çatısı ile nasıl bulunabileceğinden bahsettik. Elde edilen sonuçlara HIPI, birçok görüntünün dağıtık hesaplama yoluyla efektif olarak işlenebileceğini göstermiştir. Gelecek çalışmalarda HIPI kullanılarak büyük sayıda uydu görüntüsü üzerinde birtakım vektörizasyon işlemleri [ 16 ] gerçeklenecektir. Uydu görüntülerinin seçilmesinin sebebi hem yüksek çözünürlükte olmalarından dolayıdır. Sıradan makineler üzerinde klasik görüntü işleme yöntemlerini birçok uydu görüntüsüne uygulamak zordur. 1. İ. Demir, Hadoop Tabanli Büyük Ölçekli Görüntü İşleme Altyapisi, Yüksek Lisans

Tezi, Kocaeli Üniversitesi, Fen Bilimleri Enstitüsü, 2012.

References

2. İ. Demir , A . Sayar, “ Dağıtık ve Paralel Görüntü İşleme İçin Hadoop eklentisi”, 20 . IEEE Sinyal İşleme ve İletişim Uygulamaları Kurultayı, 2012 .

3. İ. Demir , A . Sayar, “ Hadoop Optimization For Massive Image Processing: Case Study Face Detection,” 2nd World Conference On Innovation and Computer Sciences , 2012 .

4. U. Ergün , S. Eken , A . Sayar, “Güncel Dağıtık Dosya Sistemlerinin Karşılaştırmalı Analizi,” 6 . Mühendislik ve Teknoloji Sempozyumu, Ankara, 2013 .

5. M. Chouchene , F. Ezahra Sayadi , H. Bahri , J. Dubois , J. Miteran , M. Atri, “ Optimized parallel implementation of face detection based on GPU component,” Microprocessors and Microsystems, 39 : 393 - 404 , 2015 .

6. N. Farrugia , F. Mamalet , S. Roux , F. Yang , M. Paindavoine , “ Fast and Robust Face Detection on a Parallel Optimized Architecture Implemented on FPGA,” IEEE Transactıons on Cırcuıts and Systems for Video Technology , 19 ( 4 ): 597 - 602 , 2009 .

7. P. E. Hadjidoukas , V.V. Dimakopoulos , M. Delakis , C. Garcia, “A high performance face detection system using OpenMP,” Concurrency and Computation: Practice and Experience , 21 ( 15 ): 1819 - 1837 , 2009 .

8. A. Ranjan , S. Malik, “ Parallelizing a Face Detection and Tracking System for Multi-Core Processors,” Ninth Conference on Computer and Robot Vision , pp. 291 - 297 , 2012 .

9. J.A. Nasiri , M. Amir Moulavi , S. Nazemi Gelyan , H. Deldari , H. Sadoghi Yazdi , A. Eshghi Shargh , “An Efficient Parallel Eye Detection Algorithm on Facial Color Images,” Ninth ACIS International Conference on Software Engineering, Artificial Intelligence , Networking, and Parallel/Distributed Computing, pp. 706 - 711 , 2008 .

10. C. Rashmi , K. Vinay , K.G. Hemantha, “ An Efficient Multithreading Approach for Localization of Face Parts ,” 2015 IEEE International Advance Computing Conference (IACC) , pp. 201 - 205 , 2015 .

11. Hadoop , https://hadoop.apache. org/ (Erişim Tarihi: 5 Haziran 2016 )

12. C. Sweeney , L. Liu, S. Arietta , J. Lawrence, “ HIPI: A Hadoop Image Processing Interface for Image-based MapReduce Tasks ,” Yüksek Lisans Tezi, Virginia Üniversitesi, 2011 .

13. HIPI, http://hipi.cs.virginia.edu/index. html (Erişim Tarihi: 5 Haziran 2016 )

14. Bao veriseti, https://facedetection.com/wp-content/uploads/BaoDataBase.zip (Erişim Tarihi: 5 Haziran 2016 )

15. CACD veriseti, http://bcsiriuschen.github.io/CARC/ (Erişim Tarihi: 5 Haziran 2016 )

16. S. Eken , A . Sayar, “ An Automated Technique to Determine Spatiotemporal Changes in Satellite Island Images with Vectorization and Spatial Queries” , Sadhana - Academy Proceedings in Engineering Science , 40 ( 1 ), pp. 121 - 13 , 2015 .