Robots.txt እንደ ሮቦቶች ማግለል ስታንዳርድ አካል ሆኖ ያገለግላል፣ የበጎ ፈቃደኝነት ፕሮቶኮል የበይነ መረብ ማህደር የሚያከብረው ቦቶች በፈጣሪው የተከፋፈሉ ገፆችን እንደ ክልከላ አድርገው እንዳይጠቁሙ የሚከለክል ነው። በዚህ ምክንያት የኢንተርኔት ማህደር አሁን በWayback ማሽን የማይደረስባቸው በርካታ ድረ-ገጾች እንዳይገኙ አድርጓል። በአሁኑ ጊዜ የበይነመረብ ማህደር robots.txt ደንቦችን ወደ ኋላ ይተገበራል; አንድ ጣቢያ የኢንተርኔት መዛግብትን ከከለከለ፣ እንደ ጤና ጥበቃ ተሟጋቾች ያሉ፣ ከዚህ ቀደም በጎራው የተመዘገቡ ገፆችም እንዲሁ አይገኙም። በተከለከሉ ጣቢያዎች፣ የrobots.txt ፋይል ብቻ ነው የሚቀመጠው።
አንድ ጣቢያ የኢንተርኔት ማህደር እንዳይቀዳ የሚከለክል ከሆነ የትኛው ፋይል አይገኝም?