1Makine Öğrenmesi İle Duygu Analizinde Veri Seti Performansı Hatice NİZAM İstanbul Üniversitesi Bilgisayar Mühendisliği BölümüSaliha Sıla AKIN ERS Turizm Yazılım Şirketi, Bilgisayar Mühendisi
2Sunum Planı Duygu analizi nedir ve neden ihtiyaç duyulur? Literatürdeki çalışmalarYapılan çalışmaDeneylerDeneysel sonuçlarTartışma ve Sonuç
3Duygu AnaliziDuygu analizi, duygu ve öznellikle ilgili hesaplamalı fikir değerlendirmesinin yapıldığı bir alandır.Belirli bir konu veya hedefin özelliğine göre metinler olumlu, olumsuz ya da tarafsız içeriğe sahip olup olmadığına göre analiz edilir.
4Duygu Analizine Neden İhtiyaç Duyulur? İnternet’teki verilerin hızlı bir şekilde artması bir konu veya hedefi manuel olarak takip etmeyi imkansız hale getirmektedir.Günümüzde sosyal medya platformlarının popülerliği giderek artmaktadır. İnternet kullanımının hızlı bir şekilde artmasıyla sosyal medyayı takip eden kişiler herhangi bir konu hakkında görüşlerini bu platformlar aracılığıyla duyururlar.Medya takibi yapan kişi veya kurumlar metinleri pozitif, negatif veya nötr olarak sınıflandırmak için duygu analizine ihtiyaç duymaktadırlar.
5Literatürdeki Bazı Çalışmalar Duygu analizinde günümüze kadar yapılan çalışmalar genellikle İngilizce metinler üzerinde pozitif ve negatif olmak üzere iki veya üç sınıfta incelemeler yapıldığı gözlenmektedir.Bunlara örnek;
6Yapılan ÇalışmaTürkçe metinler için yapılmış olan duygu analizi çalışmalarında elde edilen başarılar, İngilizce metinlerinkine göre düşüktür.Sınıflardaki veri dağılımlarının sınıflandırma algoritmalarındaki başarı oranlarına etkisinin olup olmadığını cevaplayan bir araştırma yoktur.Yaptığımız çalışmada, Türkçe metinlerin duygu analizinde nasıl bir performans gösterdiği incelenmiş, sınıflardaki veri dağılımları nasıl olmalı ve veri dağılımlarının sınıflandırma algoritmalarının performanslarına bir etkisinin olup olmadığı sorularının cevabı aranarak literatüre katkıda bulunmak amaçlanmıştır.Çalışmamızda sosyal medya aracı olan Twitter seçilmiş ve bazı gıda firmalarının çeşitli ürünlerine ait yapılan yorumlar üç sınıfa manuel olarak ayrılarak analiz edilmiştir.
7Deneyler Kullanılan Veri Seti: Gıda sektöründeki farklı firmaların çeşitli ürünlerine ait tweetlerden oluşturulan dengeli ve dengesiz olmak üzere iki veri seti kullanılmıştır.Veri setlerinde bulunan tweetler manuel olarak Tablo 1’de görüldüğü gibi pozitif, negatif ve nötr olmak üzere üç sınıfa ayrılmıştır:Tablo 1: Veri Setleri
8Deneyler Veri Özellikleri: Tweetlerde yer alan tüm harfler küçük harflere ve ( -ç,-ğ,-ı,-ö,-ş,-ü ) karakterleri (-c,-g,-i,-o,-s,-u) karakterlerine dönüştürülmüştür.Özellik değerlendirme metotlarından terim frekansı (TF) kullanılmıştır. TF (i,j) i. özelliğinin j sınıfında geçme sayısıdır.Yapılan çalışmamızda her bir kelime özellik olarak alınmıştır.
9DeneylerDuygu analizi çalışmaları doğal dil işleme, makine öğrenmesi, hesaplamalı dilbilim, sembolik teknikler gibi yaklaşımları kullanır. Yaptığımız çalışmada, makine öğrenmesi yönteminin denetimli öğrenme tekniği kullanılmıştır.Bütün deneyler 10-katlamalı çapraz geçerleme stratejisi ile Weka (versiyon 3.6) yazılımı kullanılarak yapılmıştır.Kullanılan Sınıflandırma AlgoritmalarıNaive Bayes (NB),Random Forest (RF),Sequential Minimal Optimization (SMO),Decision Tree (J48),1-Nearest Neighbors (IB1)
10DeneylerSınıflandırma Algoritmalarının Karşılaştırılmasında Kullanılan KriterlerModel Başarım Ölçütleri1.1. Doğruluk–Hata Oranı (Accuracy-Error Rate)1.2. Kesinlik (Precision)1.3. Duyarlılık (Recall)1.4. F-Ölçütü (F-Measure)Kappa İstatistiği(Po kabul edilen oran, Pc kabul edilmesi beklenen oran)
11Deneysel SonuçlarTablo 1: Dengesiz veri seti (A veri seti) (A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir)Tablo 2: Dengeli veri seti (B veri seti) (A (Accuracy), P (Precision), R (Recall), F (F-Measure), K (Kappa Statistic) değerlerini temsil etmektedir)
12Deneysel SonuçlarA veri setinde (dengesiz veri seti) başarımın düşük çıkmasının nedeni sınıflardaki veri dağılımının dengesizliğinden kaynaklanıyor olmasıdır. Pozitif sınıfta bulunan örnek sayısının negatif ve nötr sınıflarda bulunan örnek sayına oranı %55’tir. Bu veri madenciliği açısından uygun bir dağılım değildir (Kılıçaslan, Güner, Yıldırım, 2009).Sonuçları istatistiksel yollarla bir öğrenme algoritması kullanarak elde etmek istersek kappa istatistiği uygun bir ölçüt olarak görülür. Burada kappa sonuçları gözleme dayalı uyumun şansa bağlı olarak gerçekleştiğini göstermektedir (Landis, J. Richard, Gary G. Koch, 1977). Kappa katsayısı 1 değerine yaklaştıkça gözlenen uyumun şans eseri gerçekleşmediğini ifade eder.Veriler arası dengesizliği ortadan kaldırdığımızda sınıflandırma algoritmalarındaki model başarım ölçütleri ve kappa istatistiği sonuçlarının arttığı gözlemlenmiştir.
13Tartışma ve SonuçModel başarım ölçütleri ve kappa istatistiği sonuçları incelendiğinde dengeli veri seti, dengesiz veri setine göre daha iyi performans göstermiştir.Her iki veri setinde de en iyi performansı gösteren sınıflandırma algoritması SMO’dur ve dengeli veri setinde %72.33 ortalama doğruluk başarı oranı göstermiştir.Sınıflardaki veri dağılımlarının sınıflandırma algoritmaları üzerindeki başarımı etkilediği görülmüştür.
14Tartışma ve SonuçTüm kelimelerin özellik olarak kullanılması boyut fazlalığını artırır. Pozitif, negatif ve nötr sınıflarda sadece bir kez geçen kelimeler veya her sınıfta eşit sayıda geçen kelimeler ayırt edici özellik olarak kullanılamaz. Bir kelimenin ayırt edici özellik olarak kullanılabilmesi için o kelimenin bulunduğu sınıftaki frekansının yüksek diğer sınıflardaki frekansının düşük olması gerekmektedir.Bir sonraki çalışma olarak eğiticili terim ağırlıklandırma yönteminin yapılması planlanmaktadır.