Visually impaired people face many difficulties in life. Although many institutions and organizations are working to overcome these diffuculties, unfortunately some problems have not yet been solved. One of them is that they can not find items that the blind people have lost or that they do not know where they are at the moment. The developed application works on mobile devices to find an object that the visually impaired wants to find through the camera. When the application is turned on, the camera is switched on and the user runs the smartphone on the floor or space to search. Firstly, objects in the image taken from the camera are detected with Tensorflow object detection API. Later, after the detected objects are positioned by the parsing taking place in the image, their names and positions are notified with Google text-to-speech.
Günlük hayatta hemen hemen hepimiz eşyalarımızı kaybederiz. Bu kaybettiğimiz eşyalar beraberinde çok yüksek maliyetleri de getirebilir. Pixie’nin kayıp eşyalar ile ilgili ABD’de yaptığı ankete göre Amerikalılar kaybettikleri eşyaların yerine yenilerini almak için bir yılda yaklaşık 2.7 milyar dolar gibi inanılmaz bir meblağ harcamak durumunda kalıyor. Kayıp eşyalar beraberinde getirdiği maddi maliyetin yanı sıra belki de hayattaki en değerli şey olan zamandan da ciddi ölçüde çalıyor.
Pixie’nin araştırması kaybedilen eşyaların zaman maliyeti ile ilgili bir takım korkutucu verileri açığa çıkarıyor. Araştırmaya göre insanlar kaybettikleri eşyaları bulabilmek için yılda ortalama 2.5 günlerini harcıyor. Aynı zamanda araştırma, eşyalarını kaybeden insanların zaman ile bağlantılı başka maliyetlere de katlandığını ortaya koyuyor. Araştırma sonuçları, eşyalarını kaybedenlerin %60’ının işe veya okula geç kaldığını, %49’unun önemli toplantı veya iş görüşmelerini kaçırdığını, %22’sinin ise binmesi gereken otobüs veya trene yetişemediğini gösteriyor. Kaybedilen bir eşya genellikle 20 saniye ve 5 dakika arasında bulunabiliyor; fakat bazı eşyaları bulabilmek daha çok zaman alabiliyot. Ortalamaya göre bulunması 15 dakikadan fazla süren eşyalar şöyle: ev, araba anahtarları (%21.3), cüzdanlar (%20.2), şemsiyeler (%19), pasaportlar (%18.9), sürücü ehliyetleri (%18.8) ve banka kartları (%18.7) [1]. Veriler, günlük yaşamda sıklıkla kullandığımız eşyaları sürekli kaybettiğimizi ve onları bulabilmek için ciddi zaman ve enerji harcadığımızı gösteriyor.
Sağlıklı insanlar bile kaybettikleri veya çoğu zaman gözleri önünde olan dikkatsizlik yüzünden göremediği eşyaları ararken bu kadar zaman kaybediyor ve o gün yapması gereken işleri yapamıyorlar.
Bu çalışmada yukarıdaki sonuçları verilen ankette de geçen, gündelik hayatta daha fazla kullanılan nesnelerin bulunması sağlanmıştır. Görme engelli kişinin telefon içerisinde uygulamayı kısa yolu kullanarak açması çok zor hatta imkansızdır. Bundan dolayı uygulama ses açma tuşuna beş saniye boyunca basılı tutunca açılmaktadır. Açıldığının anlaşılması için bir bildirim sesi verilmektedir. Uygulama açıldığında kamera devreye girmekte ve kullanıcı akıllı telefonu arama yapacağı mekan veya zemin üzerinde gezdirmektedir Bu sırada akıllı telefon kamerasında görüntülenen nesneler Tensorflow nesne saptama API'si ile bulunmakta ve nesnenin ismi ve konumu kullanıcıya Google metin seslendirme uygulaması yoluyla sesli olarak bildirilmektedir.
Çalışmanın geri kalan kısmı şu şekilde organize edilmiştir. 2. bölümde literatürdeki
çalışmalar verilmiş, 3. bölümde geliştirilen uygulamanın detayları sunulmuştur. 4.
bölümde uygulamanın arayüzleri verilmiştir. Son bölümde ise sonuçlar sunulmuş, ne
gibi geliştirmeler yapılabilir tartışılmıştır.
sağlanarak farklı renklerdeki nesneleri takip edebilmesi gerçeklenmiş olup tepki
verme süresi 96106 ms aralığında ölçülmüştür [
Gerçek zamanlı endüstriyel nesne tanımada kameraların kullanılması konusunda
Sedat ve Bayram, kameralı bir sistemin renk algılayıcı bulunduran bir sisteme göre
gerçek zamanlı nesne tanıma işlemini daha hızlı gerçekleştirebildiği
gözlemlemişlerdir. Renk algılayan sistemin yerine yerleştirilen bir kamera ile sistemin
yaklaşık üç kat daha başarılı sonuç verdiği sonucuna ulaşılmıştır [
Gerçek zamanlı olarak, Anfis ile renk tabanlı nesne tespit ve motorlu sistem ile
takip edilmesi projesinde kamera tarafından alınan görüntü MATLAB programı ile
adaptif bir biçimde işlenerek hedef nesnenin merkezi tespit edilmektedir. Tespit
edilen merkezin görüntünün merkezine olan uzaklığı bulunarak, seri porta bağlı
bulunan mikrodenetleyicili devre aracılığı ile üzerinde kamera bulunan adım motora
hareket vermesi sağlanmıştır. Böylece hedef nesnenin kamera tarafından alınan
görüntünün merkezine çekilmesi sağlanarak, gerçek zamanlı nesne takip uygulaması
gerçekleştirilmiştir [
Üç boyutlu sahneler ve nesne tanıma için gürbüz anahtar nokta eşleştirilmesi
çalışmasında yakın zamanda düzlemsel nesneler için ikilik betimleyiciler ile anahtar
nokta eşleme amacıyla önerilen bir yöntem üç boyutlu nesneler için uyarlanmıştır. Bu
yöntemin başarısı yüzden fazla resim içeren bir müze nesne tanıma uygulamasında
test edilmiştir. Ayrıca sadece eşlenme başarısı yüksek betimleyicilerin
kullanılmasının nesne tanıma uygulamasının başarısına etkisi de ölçülmüştür [
Günümüzde Konvolüsyonel Sinir Ağları (KSA), sınıflandırma ve algılama
uygulamalarının ayrılmaz parçası haline gelmişlerdir. Konvolüsyonel Sinir Ağlarının
pratikte kullanılmamasının temel nedenlerinden biri, onların güçlü hesaplamaları
yapabilen işlemcilere ihtiyaç duymalarıydı. Ekran kartlarının gelişmesi ile Krizhevsky
ve arkadaşları 2012 yılında gerçekleştirilmiş ILSVRC2012 yarışmasını KSA yardımı
ile sınıflandırıcı bir model geliştirerek kazanmışlardır. İlerleyen zamanlarda RCNN,
Fast RCNN, Faster RCNN, Mask RCNN ve YOLO olmak üzere kendinden önceki
modelin performansını iyileştiren, çeşitli algılama ve sınıflandırma modelleri
geliştirilmiştir [
Şekil 1'de geliştirilen sisteme ait akış diyagramı genel hatlarıyla verilmiştir. Alt başlıklarda sistemin detaylandırılması yapılacaktır.
Şekil 1 Geliştirilen sistem akış diyagramı
Akıllı telefonun kamerasından nesne çıkarımı yapılacak olan yerin görüntüsü alınır. Bu görüntü derin öğrenme modeline girdi olacağından boyutları modelin girdi boyutuna ([224, 224, 3]) göre düzenlenir, piksel değerleri [1, 1] aralığına map edilir.
KSA çeşitli katmanlardan oluşur. Her katmanın kendine ait bir sorumluluğu vardır. Genel olarak KSA mimarisinde aşağıdaki üç ana katman kullanılır. Bunlar (i) konvolüsyon, (ii) havuzlama (pooling) ve (iii) tam bağlı (fully connected) katmanları olarak adlandırılmışlardır. Herhangi bir KSA mimarisi oluşturulurken bu üç katman belli bir düzende toplanır. Bahsedilen katmanları kullanarak basit bir KSA mimarisi geliştirilebilir.
Konvolüsyon katmanındaki çıkışın nöron sayısı üç tane hiper parametre ile kontrol edilir. Bunlar derinlik (depth), kaydırma adım uzunluğu (stride) ve sıfırtamponlama (zeropadding). Derinlik; kullanmak istenilen filtrelerin sayısına karşılık gelir ve her bir filtre giriş görüntüsünde farklı birşeyleri aramayı öğrenir. Filtrelerin kaydırılacağı adım uzunluğu belirtilmelidir. Kaydırma adım uzunluğu büyüdükçe çıkışta elde edilecek çıktının boyutu küçülür. Kaydırma adım uzunluğu ne kadar küçük ise, görüntüden daha fazla bilgi elde edilir. Bazı durumlarda girişin kenarlarını sıfırlar ile doldurmak uygun görülür. Böylece çıkışın boyutunu kontrol edebilecek bir tane daha hiper parametre sıfırtamponlama yardıma gelir.
Pratikte ardışık konvolüsyonel katmanların arasına periyodik olarak bir pooling katmanı eklemek yaygın bir yöntemdir. Pooling katmanı; ağ mimarisindeki parametrelerin ve hesaplamaların sayısını azaltan ve aşırı öğrenmeye engel olan bir mekanizmadır. KSA'da en yaygın kullanılan pooling çeşidi ise max pooling’dir.
Tam bağlı katman, çıktı katmanında bir softmax aktivasyon fonksiyonu kullanan geleneksel çok katmanlı perceptrondur. Tam bağlı terimi, önceki katmandaki her nöronun sonraki katmandaki her nörona bağlı olduğunu ima eder.
Görüntülerden nesne saptaması yapmak için Tensorflow nesne saptama API'sinden yararlanılmıştır [13]. İlgili API içinde birçok KSA modeli barındırmaktadır. Bu modellerden “ssd_mobilenet_v1_android_export” kullanıldı.
Bir önceki adımda saptanan nesnelerin görüntü içinde konumlandırılması bu aşamada yapılmaktadır. Bu işlem çerçeve içine alınmış nesnelerin sınırları kullanılarak yapılmaktadır. Konum tespiti yapılması için ekran belirli aralıklara bölünerek atamalar yapılır. Başlangıç, sol bitiş, sağ başlangıç, sağ bitiş ve ön izleme alanıdır. Ekranı bölümlendirdikten sonra ekranda, bulunan nesnelerin koordinatlarına göre nesnenin ekranda kapladığı alan tespit edilir. Daha sonra tespit edilen bu alan bölümlendirilmiş blokların hangisinin içerisinde yer aldığı kontrol edilir ve bu kontrol sonucu nesne ile ilgili lokasyon tespit edilir.
İsimleri ve konumları belirlenmiş nesnelerin kullanıcılara sesli olarak okunması Google metin seslendirme API'si yardımyla yapılmaktadır. Google metin seslendirme, Android işletim sistemi için Google tarafından geliştirilen bir ekran okuyucu uygulamasıdır. Birçok dil desteğiyle ekrandaki metni seslendirmeyi sağlar [14].
Görme engelli olan kullanıcı telefon ekranında uygulamayı bulup açma imkanı bulamayabileceği için ses açma tuşuna basılı tuttuğunda uygulama açılır ve açıldığına dair kişiye bildirim sesi gelir Kullanıcı daha sonra arama yapmak istediği bölgeye doğru telefon kamerasını tutarak bulmak istediği nesneyi arar. İsmi tespit edilen nesne veya nesneler için konum bilgilerinin belirlenmesi sağlanır. İsimleri ve konum bilgileri tespit edilen nesneler görme engelli kişilere sözlü olarak aktarılır. Bu işlemler ekranda algılanan nesne sayısı kadar tekrar eder ve ekranda algılanan tüm nesnelerin isimleri ve konumları söylenmiş olur. Örnek bir arayüz Şekil 2'de verilmiştir.
Şekil 2 Örnek bir uygulama arayüzü
Gerçekleştirdiğimiz uygulama ile görme engelli kişilerin yaşamlarını kolaylaştırmayı hedefledik ve uygulamamız ile görme engelli vatandaşlarımıza yardımcı olacak, onlara rehberlik yapabilecek bir uygulama geliştirmiş olduk. Uygulama sayesinde görme engelli kişiler günlük hayatta sık olarak kullandıkları nesneleri bulmada daha rahat edecek ve çeşitli yaralanmalara sebep olan kazaların bir miktarda olsa önüne geçmiş olacaklardır.
Gelecek çalışmalarda daha fazla nesnenin olduğu, daha hassas konumlandırmanın yapıldığı bir mimari geliştirmeyi hedeflemekteyiz. Ayrıca görme engelli kişiler üzerinde uygulamanın kullanılabilirliği ile ilgili deneyler yapılacaktır. Teşekkür
Bu çalışma, TÜBİTAK tarafından 1919B011703287 nolu proje ile desteklenmektedir. Desteklerinden dolayı TÜBİTAK’a teşekkür ederiz. 10.
https://github.com/tensorflow/models/tree/master/research/object_detection (Erişim Tarihi, 14 Mayıs 2018)
Google TexttoSpeech, https://cloud.google.com/texttospeech/ (Erişim Tarihi, 14 Mayıs 2018)