Does the Archive Team sometimes disregard robots.txt?
Why do search engines respect robots.txt protocol? Do they have any incentives to do it?
האם צוות הארכיון מתעלם לפעמים מ-robots.txt?
מדוע מנועי החיפוש מכבדים את פרוטוקול robots.txt? האם יש להם תמריצים לעשות את זה?