 Bir web gezgininin ne yaptığını açıklayın
 Örümcek veya robot olarak da bilinen web gezgini, internette otomatik olarak içerik arayan, web sitelerinden veri toplayan ve alınan verilerin bir dizinini oluşturan bir programdır. Web sayfası içeriğini okur, bir sayfadaki diğer sitelere ve web sayfalarına giden bağlantıları takip eder ve daha sonra almak ve analiz etmek için bulunan tüm kelimeleri indeksler. Bilgi daha sonra çeşitli çıktı formatlarında sunulur.