The bad news is that they don’t always follow the instructions of your robots.txt file (they are rebels, after all).
خبر بد این است که آنها همیشه دستورالعمل فایل robots.txt خود را دنبال نمی کنند (بعد از همه آنها شورشیان هستند).