- 13 Temmuz 2018
- Ekleyen datateam
- Kategori Big Data
Hadoop, verileri depolamak ve emtia donanım kümelerinde uygulamaları çalıştırmak için açık kaynaklı bir yazılım çerçevesidir. Hadoop, kümelenmiş sistemlerde çalışan büyük veri uygulamaları için veri işleme ve depolamayı yöneten açık kaynaklı dağıtımlı bir işlemden oluşur. Öngörülü analiz, veri madenciliği ve makine öğrenimi uygulamaları da dahil olmak üzere öncelikli olarak gelişmiş analitik girişimlerini desteklemek için kullanılan büyük veri teknolojilerinin büyüyen bir ekosisteminin merkezinde yer almaktadır. Hadoop, yapılandırılmış ve yapılandırılmamış verilerin çeşitli biçimlerini ele alabilir; bu da, kullanıcıların veri toplamak, işlemek ve analiz etmek için ilişkisel veri tabanlarından ve veri ambarlarından daha fazla esneklik sağlar.
Hadoop ve Büyük Veri
Hadoop, emtia sunucularının kümeleri üzerinde çalışır ve binlerce donanım düğümünü ve büyük miktarda veriyi desteklemek için ölçekler. Bir kümedeki dosyaları diğer kümedeki düğümler arasında hızlı veri erişimini sağlamak için tasarlanmıştır.
Hadoop Uygulamaları ve Kullanım Alanları
Hadoop öncelikli olarak analitik kullanımlarına yöneliktir ve farklı veri türlerini işleme ve saklama yeteneğine sahiptir. Büyük veri analizi uygulamaları için özellikle iyi bir uyum sağlar. Büyük veri ortamları genellikle, yalnızca büyük miktarlarda veriyi değil, aynı zamanda yapılandırılmış işlem verilerinden, internet tıklama akışı kayıtları, web sunucusu ve mobil uygulama günlükleri, sosyal medya gönderileri, müşteri e-postaları ve algılayıcılar gibi yarı yapılandırılmış ve yapılandırılmamış bilgi formlarına kadar çeşitli türleri de içerir.
Hadoop tabanlı büyük veri sistemleri için yaygın bir kullanım durumu müşteri analizidir. Hadoop müşteri kaybını tahmin etme, web kullanıcılarına çevrimiçi reklamları daha iyi hedeflemek için tıklama verilerini analiz etme ve bir şirketin sosyal ağlardaki yorumlarına dayanarak müşteri duyarlılığını izleme girişimleri sayılabilir. Sigortacılar, politika fiyatlandırmasını analiz etmek ve güvenli sürücü indirim programlarını yönetmek gibi uygulamalar için Hadoop’u kullanır. Sağlık kuruluşları, Hadoop’un yardımı ile tedavileri ve hasta sonuçlarını iyileştirmenin yollarını ararlar.
Hadoop İle İlişkili Büyük Veri Araçları
Hadoop etrafında inşa edilen ekosistem, temel yeteneklerini tamamlayacak ve genişletebilecek bir dizi diğer açık kaynak teknolojisini içeriyor. Bunlardan bazıları:
Apache Flume: Büyük miktarda veri akışını toplamak ve HDFS’ ye taşımak için kullanılan bir araçtır;
Apache HBase : Genellikle Hadoop ile eşleştirilmiş ve dağıtılmış bir veri tabanıdır.
Apache Hive : Veri özetleme, sorgulama ve analiz sağlayan bir SQL-on-Hadoop aracıdır.
Apache Oozie: Hadoop işlerini yönetmek için sunucu tabanlı bir iş akışı çizelgeleme sistemidir.
Apache Pig : Hadoop kümelerinde çalışan programlar oluşturmak için üst düzey bir platformdur.
Apache Sqoop: Hadoop ile ilişkili veri tabanları gibi yapısal veri depoları arasında toplu veri aktarımına yardımcı olan bir araçtır.
Apache ZooKeeper : Büyük dağıtılmış sistemler için bir yapılandırma, senkronizasyon ve kayıt defteri hizmeti verir.
Veri Düğümü
Her makinede bir veri düğümü ve bir görev izleyici bulunur. Veri düğümü, HDFS (Hadoop Dağıtılmış Dosya Sistemi) olarak da bilinir ve görev izleyici, harita azaltıcılar olarak da bilinirler. Veri düğümü tüm veri kümesini içerir ve görev izleyici tüm işlemleri yapar. Görev izleyiciyi, kolunuz ve bacağınız olarak hayal edebilirsiniz; bu, işlem yapmak istediğiniz tüm bilgileri içeren bir görev ve veri düğümü beyniniz gibi yapmanızı sağlar. Kısaca Hadoop, bize büyük verilerle başa çıkmak için bir çerçeve sunan, açık kaynak kodlu projelerden oluşan eksiksiz bir ekosistemdir.