İşaret Dili Hareketlerinin İzlenmesi ve İki Boyutlu Özniteliklerden Üç Boyutlu Hareket SentezlenmesiForum AlevÖzet
Stereo kameradan oluşan bir kurulumda üç boyutlu hareketi izleyen ve yeni işaret parçaları sentezleyen bir sistem tasarlanmıştır. Bu sistemde işaretleyici kullanarak oluşturulmuş bir veri kümesi kullanılmış ve işitme engelliler Türk işaret dilinden ifadeler canlandırılmıştır. Hem işaretleyicilerin merkezlerinin bulunması sırasında hem de bulunan noktaları izleme sırasında ilişkinlik problemi çözülmeye çalışılmıştır. Nokta bulma ve hareket izleme için önerilen yeni yöntemlerin başarımları karşılaştırılmıştır. Takip edilen ve boyutları düzgelenen gezingeler Saklı Markov Modelleri (SMM) ile sınıflandırılmış, bu modeller kulanılarak yeni işaret parçaları oluşturulmuştur.
1. Giriş
İşaret dili, işitme engellilerin birbirleriyle ve yaşadıkları toplumdaki kişilerle anlaşmasını sağlayan en önemli iletişim yöntemlerinden biridir. Son dönemde, bilgisayar ve kamera teknolojisindeki yenilikler sayesinde işaret dilinin kullanımı ve öğrenilmesini kolaylaştıracak yöntemlerin de önü açılmış, hareket izleyen, tanıyan ve canlandıran yöntemler bu amaçla kullanılmaya başlanmıştır.
İşaretleyici yardımıyla hareketi izleyen sistemlerde, nokta bulma ve izleme yöntemleri kullanılarak gezingeler çıkarılması amaçlanır. Gezingenin çıkarılmasında çeşitli hareket izleme teknikleri kullanılabileceği gibi (Hough Dönüşümü [1], Kalman Süzgeci [2]), zamansal şablonlara dayalı teknikler de ilişiklik problemini çözmedeki başarıları nedeniyle kullanılabilir [3-5].
Çıkarılan gezingeler kullanılarak hareket dizilerinin ait oldukları sınıfı modellemek ve yeni işaret parçaları sentezlemek mümkündür. Bunun için Saklı Markov Modelleri (SMM) kullanan yöntemler bulunmaktadır [6,7].
Bu çalışmada stereo kameradan oluşan bir kurulumda işaret diline ait ifadeler işaretleyici yardımıyla izlenmiş ve SMM kullanılarak yeni işaret parçaları üretilmiştir. 2. kısımda oluşturulan veri kümesi ile ilgili bilgi verilmekte, 3. kısımda önişleme ve işaretleyici bulma yöntemi anlatılmakta daha sonra 4. kısımda işaretleyicilerin koordinat bilgisinin çıkarılması yönteminin detayları verilmektedir. 5. kısımda bu noktaların izlenmesi için kullanılan iki yöntem sunulmakta, son olarak da 6. kısımda SMM uygulaması anlatılmaktadır. Çalışmanın genel sonucuna, izleme algoritmalarının sonuçlarına ve karşılaştırılmasına ise 7. kısımda değinilmiştir.
2. Görüntü Veri Kümesi
Çalışma için 8 kişinin hareketlerini içeren bir veri kümesi oluşturulmuştur. Bu veri kümesinde, işitme engelliler Türk İşaret Dili’ne (TİD) ait “merhaba”, “hoşçakal”, “evet”, “hayır” ve “teşekkürler” ifadeleri canlandırılmaktadır. Kişilerin omuz, dirsek, el, alın ve karın bölgelerine toplamda 8 adet sarı renkte işaretleyici cisim yerleştirilmiştir (Şekil 1).
Şekil 1: Veri kümesinden örnek görüntüler
Görüntüler Point Grey Bumblebee® stereo kamera sistemi kullanılarak 640x480 boyutunda ve 30 fps hızında, ortalama 5 sn süreli videolar halinde kaydedilmiş ve taşınabilir imgecik eşleştirme dosya formatına (Portable Pixelmap - PPM) dönüştürülmüştür. Her bir kişiden “evet” ve “teşekkürler” ifadeleri için beşer ve diğerlerinden birer çift (sol-sağ) olmak üzere toplamda 14 çift görüntü toplanmıştır. Hazırlanan veri kümesi yaklaşık 33 bin çerçeveden oluşmakta ve toplamda 10 GB’lık yer kaplamaktadır.
3. Önişleme ve İşaretleyici Bulma
Toplanan veri kümesindeki görüntülerin (imgelerin) önişlemesi, çalışmanın ilk adımını oluşturmaktadır. Bu işlemin temel amacı, görüntüdeki bilgi taşımayan kısımların elenerek asıl ilgi alanı olan işaretleyici pozisyonlarının belirlenmesidir. Bu amaçla renk bilgisinden faydalanılması düşünülmüş ve işaretleyicilerin (sarı) rengini gürbüz biçimde tanımlayacak iki farklı yöntem uygulanmıştır:
Yöntem 1:
İşaretleyicileri belirleyebilmek amacıyla öncelikle her bir görüntü çerçevesinden, arka plana ait kısımlar imgecik (piksel) karşılaştırma işlemi ile çıkarılır. Arka plan çıkarma işlemi, duvardaki (ışıklandırma sonucu oluşan) sarı tonların yok edilmesi için kullanılmaktadır. Ardından sarı tonların ayırt edilebilmesi amacıyla çeşitli renk uzaylarında eşikleme yapılarak elde edilen görüntünün mavi bandı üzerinde ikilileştirme uygulanır. Sonuç ikili görüntüsündeki bağlantılı bileşenler bulunur ve belirli bir boyuttan küçük bileşenler silinerek olası gürültü elemanlarının yok edilmesi sağlanır.
Yöntem 2:
İlk yöntem ile, işaretleyicilerin pozisyonlarının doğru belirlendiği, ancak tespit edilen işaretleyici sayısının beklenen değerler ile uyumsuz olduğu görülmüştür. Bu durumun, hareket sırasında oluşan gölgelerin sarı tonları değiştirmesinden ve gürültü ayıklamada seçilen boyut bilgisinin eşik seviye niteliğine uygun olmamasından kaynaklandığı anlaşılmıştır. Bu nedenle söz konusu olumsuzlukları ortadan kaldıracak farklı bir renk uzayına ihtiyaç duyulmuştur.
Uygulanan ikinci yöntemde sarı renkli işaretleyicilerin diğer tonlardan ayrıştırılması amacıyla YES uzayı seçilmiştir [8]. Bu renk uzayının renklilik (chrominance) bileşeni olan S bandı sarı rengi, insan teninden ve beyaz tonlardan ayırarak, ortam aydınlatmasından bağımsız ve gürbüz biçimde belirlemektedir. RGB uzayı ile YES uzayı arasındaki doğrusal dönüşüm,
ifadesi ile tanımlanır. İncelenen veri kümesinde S bandındaki değeri belirli bir eşiğin üzerinde bulunan imgecikler sarı renkli işaretleyici imgecikleri olarak tanımlanır ve oluşturulan ikili imgede beyaz ile gösterilir.
Oluşturulan ikili imgede gürültü olarak tanımlanabilecek istenmeyen imgecikler de görülebilmektedir. Bu olumsuz etkileri yok etmek amacıyla, ikili görüntüye bir alan doldurma (flood filling) işlemi uygulanarak sınırları bir çevre oluşturacak biçimde bağlantılı olan yapıların içleri doldurulur. Son olarak, 3x3’lük yapı elemanı ile morfolojik açma işlemi kullanılarak gürültünün tamamen yok edilmesi sağlanır. S bandında çift eşikleme uygulanmasının da gürültü imgeciklerinin elenmesinde önemli bir rol oynadığı görülmüştür. Veri kümesinden alınan bir örnek görüntü ile, işlemler yapıldıktan sonra elde edilen işaretleyici konumları Şekil 2’de sunulmaktadır.
Şekil 2: İşaretleyici pozisyonlarının elde edilmesi.
4. İşaretleyici Konumlarının Tespiti
İşaretleyicilerin bulunmasından sonra sıra koordinat bilgisinin çıkarılmasına gelmektedir. Her bir işaretleyici merkezi için bir (x,y) koordinat ikilisi elde etmek amacıyla önce literatürde kullanılan Hough çember bulma algoritması incelenmiştir [4]. Ancak bu algoritmanın mevcut yapı ile yeterince başarılı çalışmadığı görülmüştür. Özellikle işaretleyicilerin hareket sırasında örtülmesi sonucu, görüntüleri çemberden çokça farklılaşmakta ve bu durum, algoritmanın işaretleyicileri tespit etmesini zorlaştırmaktadır. Bu nedenle söz konusu durumlarda gürbüz biçimde çalışacak yeni bir yöntem önerilmektedir.
Bu yöntemde, işaretleyicilerin bulunduğu alanları tespit edebilmek için önce imgedeki bağlantılı bileşenler bulunur. Her bir bağlantılı bileşen, bir işaretleyiciyi temsil etmektedir ve bu bileşene ait imgeciklerin (x,y) koordinat ortalamaları, işaretleyicinin merkez konumunu belirtmektedir.
İdeal durumda tüm işaretleyiciler birbirlerinden belli bir uzaklıkta konumlanmaktadır. Bu nedenle başlangıçta tüm gruplar birbirlerinden en az 20 imgecik uzaklıkta olacak şekilde kaynaştırılır. İki koordinatın birbirine bu eşik değerinin altında kalacak kadar yakınlaşması durumunda ise, işaretleyicilerin bir önceki konumlarıyla karşılaştırma yapılarak birbirine yakın noktalar için yeniden bir kaynaştırma işlemi uygulanır. Yine bir önceki konumlarla karşılaştırma yapılarak, gürültü nedeniyle fazladan bulunmuş koordinatlar elenir.
devamı..