GİRİŞ Günlük hayatımızda kullandığımız elektronik cihazların İnternete bağlanma, veri gönderme ve alma becerisi olarak tanımlanan Nesnelerin İnterneti [1], İngilizce karşılığının kısaltmasıyla IoT, kavram ve uygulama olarak hayatımızda her geçen gün daha fazla yer edinmektedir. 1991 yılında Cambridge Üniversitesi'nde on beş akademisyen tarafından kahve makinesini kamera ile görmek için hazırlanan sistem, Nesnelerin İnterneti kavramının ilk adımları olarak kabul edilmiştir [2]. Nesnelerin İnterneti günümüzde de beyaz eşyalardan, otomobillere, akıllı ev sistemlerinden şirketlerin ürünleri ve lojistik sistemleri ile kurdukları geniş tabanlı ağlara kadar pek çok alanda yaygın olarak kullanılmaktadır. İnternetin kablosuz olarak yaygınlaşması, hız ve kapasitesinin artması, internete bağlanan sistemlerin yaygınlaşması, maliyetlerinin düşmesi ve boyutlarının Nesnelerin İnterneti konseptine uyumlu olarak küçülmesi, kişi ve kurumları bu konuda araştırma ve incelemeye yöneltmektedir.
Günümüzde insanlar, dokunmatik yönetim cihazları kullanarak evlerinde aydınlatma, ısıtma ve soğutma gibi temel işlevleri kontrol etmek istemektedirler [3]. Bu kapsamda akıllı evler, akıllı binalar ve akıllı şehirler gibi birçok kavram Nesnelerin İnterneti çerçevesinde incelenmektedir. Akıllı bebek monitörleri akıllı ev sistemlerinin bir eklenti olarak ele alınabilir. Geleneksel bebek monitörleri sadece ses temelli çalışmakta ve bebeğin belirli bir seviyeden yüksek ses çıkarması durumunda ebeveynleri uyarmaktadır. Yakın geçmişte geliştirilmeye başlanan sistemlerde ise ses bilgisine ek olarak görüntü bilgisinin de aktarılmasına başlanmıştır [4][5]. Böylelikle ebeveynler bebeklerin uyku sırasındaki aktivitelerini izleyebilmektedir. Öte yandan sadece görüntü aktarma yeteneğine sahip pasif bir izleme sistemi ebeveynin sürekli olarak görüntüyü takip etmesini gerektirmektedir.
Bu çalışmada geliştirilen sistem ile oldukça düşük maliyetli bir donanım ile alınan bebek odası görüntüleri yine bu donanım üzerinde gerçek zamanlı olarak işlenmekte ve aşırı aktivite tespit edilmesi durumunda ebeveynin mobil cihazına uyarı gönderilmekte ve bebek odasından video akışı başlatılmaktadır. Böylelikle gerçek zamanlı görüntü işleme yeteneğine sahip bir bebek monitörü Nesnelerin İnterneti konseptine uygun şekilde geliştirilmiştir. Yapılan deneysel sistemin bebek hareketlerini tespit etmekte başarılı olduğunu göstermiştir.
GELİŞTİRİLEN SİSTEM Bu çalışmada geliştirilen sistem temel olarak bir görüntü sensörü, alınan görüntüyü işleyip kablosuz olarak veri aktarma yeteneğine sahip bir işlem birimi ve kablosuz olarak aktarılan verileri gösterme yeteneğine sahip bir mobil cihazdan oluşmaktadır. Sistemin blok diyagramı Şekil-1’de gösterilmektedir.
Şekil 1. Geliştirilen Sistemin Blok Diyagramı Sistem Donanımı Donanımın ana bileşeni olarak, çalışmanın amacı ve Nesnelerin İnterneti konseptine uygun olarak küçük boyutlarına oranla düşük maliyetli ve yüksek performanslı bilgisayar olan Raspberry Pi Zero W ve Pi kamera modülü kullanılmıştır. Şekil 2’de 2017 yılı içerisinde piyasaya sunulan 65mm × 30mm × 5mm fiziksel boyutlarında, üzerinde 1GHz frekansında çalışan bir ARM11 işlemci, 512MB RAM’in yanı sıra WiFi, Bluetooth (4.1 ve BLE destekli) ve CSI (Camera Serial Interface) arayüzlerine sahip Raspberry Pi Zero W’nun görünümü verilmiştir.
Şekil 2. Raspberry Pi Zero W kartı 10USD maliyete sahip olan bir tek kart bilgisayar üzerinde Raspbian isimli bir Linux dağıtımı çalıştırılmaktadır. Bu tek kart bilgisayara sağ tarafındaki kamera konnektörü aracılığı ile Raspberry ekosistemi için geliştirilen kamera modülleri uygun bir FFC (Flat Flex Cable) ile bağlanabilmektedir.
Sistem Yazılımı Sistemin çalışmasını sağlayan yazılımın iki temel kısımdan oluşmaktadır. Birinci kısım görüntü işleme ile bebek hareketlerini analiz ederek uyanma tespiti yapmakta, ikinci kısım ise uyanma tespiti sonrasında ebeveyne uyarı mesajı yollayıp video akışını sağlamaktadır.
Uyanma Tespiti Geliştirilen sistemde uyanma tespiti 3 aşamalı bir mekanizma kullanılarak gerçekleştirilmiştir. İlk aşamada ardışık olarak alınan görüntü çerçeveleri (image frame) örtüşmeyen (non-overlapping) bloklara ayrılarak blok temelli olarak incelenmiştir. Bu aşamada bloklar için hareketli veya hareketsiz kararı verilmiştir. Sonraki aşamada hareketin görüntü içerisinde kapladığı alan değerlendirilerek hareket büyük/küçük olarak sınıflandırılmıştır. Son aşamada ise görüntü çerçevesinde belirli büyüklükteki olan hareketin sürekliliği incelenmiştir. Görüş alanı içerisinde belirli büyüklükteki bir hareketin belirli bir süre boyunca olması durumunda bebeğin hareketlendiği ve/veya uyandığı kararı verilmiştir.
Hareketin tespiti aşamasında ardışık görüntü çerçeveleri arasında blok bazlı mutlak fark toplamları (MFT) hesabı yapılmıştır. (1) Bu eşitlikte o anki görüntü çerçevesinin bloğunu gösterirken, bir önceki görüntü çerçevesinde aynı konma denk gelen bloğu göstermektedir. M ve N ise ilgili bloğun yatay ve düşey eksendeki piksel sayısına karşılık gelmektedir.
Her bir blok için (1)’de verilen şekilde MTF hesabı yapıldıktan sonra ilgili bloğun hareketli olup olmadığını belirlemek için bu değer sabit bir eşik değeri ile karşılaştırılmıştır. Eşik değerinden büyük MFT’ye sahip olan bloklar hareketli olarak, diğerleri ise hareketsiz olarak sınıflandırılmıştır. Şekil 3’te örnek test görüntü üzerinden hesaplanan blok bazlı farklar ve farkların eşik değer ile karşılaştırılması sonrası hareketli olarak sınıflanan bloklar gösterilmektedir. (a) Blok farkları (b) Hareketli bloklar Şekil 3. Ardışık Görüntü Çerçeveleri Üzerinden Hareketli Blokların Tespiti Tespit edilen hareketin küçük veya büyük olarak sınıflandırılması aşamasında ise çerçeve içerisinde kaç adet bloğun hareketli olarak sınıflandırıldığı incelenmiştir. Hareketli olarak sınıflandırılan blokların sayısının bir eşik değeri aşması olması durumunda bu hareket büyük bir hareket olarak değerlendirilmekte aksi durumunda bu hareket küçük olarak kabul edilmektedir. Son aşamada ise; büyük hareketin devamlılığı belirlenmektedir. Bu kapsamda hareketli blok sayısının zamana göre değişimi incelenmektedir. Bu amaçla (2)’de verilen formül ile hareketli blok sayısı zamana bağlı olarak takip edilmektedir.
SİSTEM İLE YAPILAN DENEMELER Tasarlanan sistemin ilk aşamasında donanım ve yazılımın kontrolü maksadıyla bir test ortamı hazırlanmıştır. Test ortamında Raspberry Pi Zero, kamera modülü ve oyuncak bebek kullanılmıştır. Deney ortamında kamera modülünün bakış açısı Şekil 5’te gösterilmektedir. Testler esnasında hareket eden bölge siyah çerçeve içine alınmıştır. (2) Bu eşitlikte , t. çerçevedeki eşik değeri geçen blok sayısını; H, hedef cismin hareketli kabul edildiği eşik değeri; , t anında depolanmış blok sayısını; k ise bir normalizasyon katsayısını göstermektedir.
Eşik değeri geçen blok sayısı H katsayısından büyükse D değeri artmaktadır. D değeri belirli bir seviyeye geldiğinde büyük hareketin devamlı olduğu kabul edilmektedir. Büyük hareket oluşmuş ancak kısa süre devam etmişse D belirli bir süre artacak ancak zamanla sönümlenecektir. Eşik değeri geçen blok sayısı ile zamanla artan/azalan depo (D) arasındaki ilişkinin gösterildiği örnek Şekil 4'te sunulmuştur. Grafikten blok sayısının (s) belirli bir adedin üzerinde ve devamlı olması durumunda depo (d) değerinin arttığı, aksi durumda azaldığı görülmektedir.
Şekil 4. Örnek Bir Görüntü Dizisi İçin Hareketli Blok
Devamlılığın Tespiti Devamlılığın belirli bir seviyenin üzerine çıkması netice- sinde, sistem uyanmanın gerçekleşmiş olduğunu kabul ederek görüntü işlemeyi kesmekte ve video akışına geçmektedir.
Video Akışı (Streamıng) Video akışı kamera modülünden alınan görüntülerin ‘mpeg' formatında gönderilmesiyle sağlanmaktadır. Kullanıcının videoyu yerel ağ üzerinde seyredebilmesi için HTML dilinde arayüz hazırlanmıştır. Kullanıcı Raspberry Pi yerel IP adresi ve belirlenen port üzerinden Raspberry Pi sunucusuna bağlanarak kamera modülünün sağladığı görüntüyü takip edebilmektedir. Şekil 5. Deney Ortamında Kamera Modülünün Bakış
Açısı Test kapsamında oda ışığının az ve normal olduğu ortamda, model bebek hareketsiz ve hareketli olarak toplam altı farklı test yapılmıştır. Elde edilen hareketli blok tespit sonuçları görsel olarak Şekil 6’da verilmiştir. Şekil 6(a) incelendiğinde cisim hareketsizken bazı blokların hareketli olarak sınıflandığı görülmektedir. (a) Cisim Hareketsiz (b) Az Işıklı Ortamda Cisim
Hareketli (c) Normal Işıklı Ortamda
Cisim Hareketli-1 (d) Normal Işıklı Ortamda
Cisim Hareketli-2 Şekil 6- Deneysel Sonuçlar Bunun temel nedeni hareketli blokların kaçırılmaması için bu aşamada kullanılan eşik değerin küçük tutulmasıdır. Cisim hareket etmeye başladığında hareketli blok sayısı artmaktadır. Öte yandan bu blokların birbirine komşu olması da önemli bir noktadır. Bu aşamada tek blokluk bu tip hataların giderilmesi için ikili morfolojik işlemlerden (binary morphology) faydalanılabilir. Örneğin blok verisi üzerinden morfolojik açma (opening) işlemi yapılması sonucunda bu tip tek blokluk bozucular etkin şekilde elemine edilmiştir. Morfolojik açma işlemi sonrası elde edilen sonuçlar Şekil-7’de gösterilmiştir. (a) Morfolojik Açma Öncesi (b) Morfolojik Açma Sonrası Şekil 7- Morfolojik Açma İşlemi Diğer deneysel sonuçlar incelendiğinde görüntünün ortasına denk gelen bebeğin hareketleri gerek az aydınlatılmış gerekse normal aydınlatılmış ortamda etkin şekilde tespit edilebilmektedir. Sistemin çok az aydınlık veya karanlık ortamda da çalışabilmesi için kızılötesi aydınlatma kullanımı mümkündür. Kullanılan kamera modülü kızılötesi bölgeye de hassas olduğundan görüntü işleme yönteminde bir değişikliğe gerek kalmadan sistemin bütün koşullarda çalıştırılması sağlanabilecektir.
SONUÇ Bebek uyanma tespit ve izleme sisteminde ana hedef doğrultusunda; bebeğin uyurken ve uyanma sürecindeki hareketleri oldukça ucuz bir tek kart bilgisayar olan Raspberry Pi Zero W ve ve kamera modülü ile gerçek zamanlı olarak analiz edilebilmiş ve sistemin hareketi tespit ettiği durumda otomatik olarak video akış moduna geçmesi sağlanmıştır. Çalışmanın ilerleyen aşamalarında kullanıcıya cep telefonu/tablet vb. uygulama tabanlı cihazlar ile sistemi kontrol etme imkânı sağlanması ve sistemin çok az ışık / karanlık ortamında bile doğru çalışması için kızıl ötesi ışık ile donatılması, hedeflenmektedir.
KAYNAKÇA [1] Garcia M. JA., Pinedo-Farusto E., “An Experimental Analysis of Zigbee Networks”, IEEE, 33rd IEEE Conference ,(2008) 723- 729. [2] Liu Y., Zhou G., “Key Technologies and Applications of Internet of Things”, IEEE, Fifth International Conference on Intelligent Computation Technology and Automation, (2012) 197-200. [5] D. M. Tveit, K. Engan, I. Austvoll and Ø. MeinichBache, "Motion based detection of respiration rate in infants using video," 2016 IEEE International Conference on Image Processing (ICIP), Phoenix, AZ, 2016, pp. 1225-1229. ÖZGEÇMİŞLER Eray ERKEN 2003 yılında Deniz Harp Okulu Elektronik ve Haberleşme bölümünden mezun olmuştur.
Halen Kocaeli Üniversitesi Elektronik ve Haberleşme Mühendisliği Bölümünde Lisansüstü eğitimine devam etmektedir.
Oğuzhan URHAN Lisans, yüksek lisans ve doktora derecelerini sırasıyla 2001, 2003 ve 2006 yıllarında Kocaeli Üniversitesi, Elektronik ve Haberleşme Mühendisliği Bölümünden almıştır. Lisansüstü öğrenimi sırasında aynı bölümde araştırma görevlisi olarak çalışmıştır. 2006-2007 yılları arasında Güney Kore’de buluna Chung-Ang Üniversitesinde misafir öğretim üyesi olarak görev yapmıştır. 2009 yılında doçent unvanı alıp, 2015 yılı itibari Kocaeli Üniversitesi Elektronik ve Haberleşme Mühendisliği Bölümünde profesör kadrosuna atanmıştır. Kocaeli Üniversitesi Gömülü Sistemler ve Görüntüleme Teknolojileri Laboratuvarının (KULE) kurucusu ve koordinatörüdür. İlgi alanları sayısal işaret, görüntü, video işleme ile gömülü sistemlerdir