Tīmekļa rāpuļprogramma
Tīmekļa rāpuļprogramma (), saukta arī par zirnekli (), ir programmatūra, kas sistemātiski pārlūko vispasaules tīmekli, lejupielādē tīmekļa vietņu saturu un to indeksē (informāciju par vietnēm ievieto datubāzē). Tipiski rāpuļprogrammas izmanto meklētājprogrammas, lai iegūtu informāciju par tīmekļa vietnēm.

Rāpuļprogrammas darbība sākas ar sēklu — tīmekļa vietņu URL sarakstu, kuras tam jāapmeklē. Kad programma pārlūko šīs vietnes, tā identificē hipersaites tajās un pievieno to adreses apmeklējamo URL sarakstam, tādējādi paplašinot sev zināmo tīmekļa vieņu sarakstu. Tā kā vispasaules tīmeklis ir plašs, rāpuļprogrammai ir nepieciešams izvēlēties, kuras vietnes tā apmeklēs vispirms. To izdara, balstoties uz vairākiem faktoriem, piemēram, cik bieži citas vietnes satur saites uz šo lapu, cik bieži tā tiek apmeklēta vai arī citiem faktoriem, kas norāda, ka šī vietne satur svarīgu informāciju. Tāpat ir nepieciešams vietnes apmeklēt atkārtoti, jo saturs tīmeklī tiek regulāri izmainīts un atjaunots.

Tā kā rāpuļprogrammas rada noslogojumu apmeklētajām vietnēm un ne visi tīmekļa vietņu operatori vēlas, lai tās tiktu indeksētas, ir izstrādāti mehānismi, kā vietne var informēt rāpuļprogrammu, ja tā nevēlas, lai to indeksētu. Iekļaujot robots.txt failu, vietne var dot norādes neindeksēt konkrēto vietni vispār vai arī indeksēt tikai daļu no tās.

Ņemot vērā tīmekļa izmērus, pilnīga tīmekļa indeksēšana nav reālistiska. 2009. gada pētījums lēš, ka pat lielākās meklētājprogrammas nav indeksējušas vairāk par 40—70% no indeksējamā tīmekļa. Tāpat ne visas tīmekļa vietnes ir iespējams indeksēt, piemēram, rāpuļprogrammai nav iespējas uzzināt par tīmekļa vietnes eksistenci, uz kuru neved neviena hipersaite.

Par pirmo tīmekļa rāpuļprogrammu uzskata 1993. gadā izstrādāto World Wide Web Wanderer, kuras mērķis bija interneta izaugsmes mērīšana. 1994. gadā tika palaists WebCrawler, kas bija pirmā publiski pieejamā meklētājprogramma, kam bija pieejams pilna teksta saturs. No šīs programmas radās rāpuļprogrammu nosaukums. Palielinoties meklētājprogrammu skaitam, strauji pieauga arī rāpuļprogrammu skaits. Tiek lēsts, ka 2002. gadā 40% no tīmekļa satiksmes īstenoja rāpuļprogrammas.

Rāpuļprogrammu saraksts 

 Applebot — Apple rāpuļprogramma, atbalsta Siri un citus uzņēmuma produktus.
 Bingbot — Microsoft meklētājprogrammas Bing rāpuļprogramma.
 Baiduspider — Baidu rāpuļprogramma.
 DuckDuckBot — DuckDuckGo rāpuļprogramma.
 Googlebot — Google rāpuļprogramma, sastāv no divām programmām — Googlebot Desktop un Googlebot Mobile (simulē darbvirsmas un mobilos lietotājus attiecīgi).
 Yahoo! Slurp — bija Yahoo! rāpuļprogramma, līdz Yahoo! noslēdza vienošanos ar Microsoft par Bingbot izmantošanu.
 YandexBot — Yandex rāpuļprogramma.

Atsauces

Ārējās saites 
 What is a web crawler bot? 

Meklētājprogrammas
Vispasaules tīmeklis
Tīmekļa rāpuļprogramma ( ) , saukta arī par zirnekli ( ) , ir programmatūra , kas sistemātiski pārlūko vispasaules tīmekli , lejupielādē tīmekļa vietņu saturu un to indeksē ( informāciju par vietnēm ievieto datubāzē ) . Tipiski rāpuļprogrammas izmanto meklētājprogrammas , lai iegūtu informāciju par tīmekļa vietnēm . Rāpuļprogrammas darbība sākas ar sēklu — tīmekļa vietņu URL sarakstu , kuras tam jāapmeklē . Kad programma pārlūko šīs vietnes , tā identificē hipersaites tajās un pievieno to adreses apmeklējamo URL sarakstam , tādējādi paplašinot sev zināmo tīmekļa vieņu sarakstu . Tā kā vispasaules tīmeklis ir plašs , rāpuļprogrammai ir nepieciešams izvēlēties , kuras vietnes tā apmeklēs vispirms . To izdara , balstoties uz vairākiem faktoriem , piemēram , cik bieži citas vietnes satur saites uz šo lapu , cik bieži tā tiek apmeklēta vai arī citiem faktoriem , kas norāda , ka šī vietne satur svarīgu informāciju . Tāpat ir nepieciešams vietnes apmeklēt atkārtoti , jo saturs tīmeklī tiek regulāri izmainīts un atjaunots . Tā kā rāpuļprogrammas rada noslogojumu apmeklētajām vietnēm un ne visi tīmekļa vietņu operatori vēlas , lai tās tiktu indeksētas , ir izstrādāti mehānismi , kā vietne var informēt rāpuļprogrammu , ja tā nevēlas , lai to indeksētu . Iekļaujot robots.txt failu , vietne var dot norādes neindeksēt konkrēto vietni vispār vai arī indeksēt tikai daļu no tās . Ņemot vērā tīmekļa izmērus , pilnīga tīmekļa indeksēšana nav reālistiska . gada pētījums lēš , ka pat lielākās meklētājprogrammas nav indeksējušas vairāk par70 % no indeksējamā tīmekļa . Tāpat ne visas tīmekļa vietnes ir iespējams indeksēt , piemēram , rāpuļprogrammai nav iespējas uzzināt par tīmekļa vietnes eksistenci , uz kuru neved neviena hipersaite . Par pirmo tīmekļa rāpuļprogrammu uzskata gadā izstrādāto World Wide Web Wanderer , kuras mērķis bija interneta izaugsmes mērīšana . gadā tika palaists WebCrawler , kas bija pirmā publiski pieejamā meklētājprogramma , kam bija pieejams pilna teksta saturs . No šīs programmas radās rāpuļprogrammu nosaukums . Palielinoties meklētājprogrammu skaitam , strauji pieauga arī rāpuļprogrammu skaits . Tiek lēsts , ka gadā no tīmekļa satiksmes īstenoja rāpuļprogrammas . Rāpuļprogrammu saraksts Applebot — Apple rāpuļprogramma , atbalsta Siri un citus uzņēmuma produktus . Bingbot — Microsoft meklētājprogrammas Bing rāpuļprogramma . Baiduspider — Baidu rāpuļprogramma . DuckDuckBot — DuckDuckGo rāpuļprogramma . Googlebot — Google rāpuļprogramma , sastāv no divām programmām — Googlebot Desktop un Googlebot Mobile ( simulē darbvirsmas un mobilos lietotājus attiecīgi ) . Yahoo ! Slurp — bija Yahoo ! rāpuļprogramma , līdz Yahoo ! noslēdza vienošanos ar Microsoft par Bingbot izmantošanu . YandexBot — Yandex rāpuļprogramma . Atsauces Ārējās saites What is a web crawler bot ? Meklētājprogrammas Vispasaules tīmeklis