Can you summarize the following document?
        
  允許所有的機器人:  另一寫法 僅允許特定的機器人:(name_spider用真實名字代替) 攔截所有的機器人: 禁止所有機器人訪問特定目錄: 僅禁止壞爬蟲訪問特定目錄(BadBot用真實的名字代替): 禁止所有機器人訪問特定檔案型別:

  

  codice_1指令被幾大搜尋引擎支援(包括Google、Yahoo、Bing和Ask),指定了網站Sitemaps檔案的位置。Sitemaps檔案包含了網站頁面所在的URL的一個列表。codice_1指令並不受codice_3指令的限制,所以它可以放在robots.txt檔案中的任意位置。 唯一要注意的就是要使用網站地圖指令,<nowiki><sitemap_location></nowiki>,並將URL的"location"值換成網站地圖的地址,例如,下面就是一個網站地圖指令的例子:  如何編寫Sitemaps檔案,請參考sitemaps.org上的說明。

  幾大抓取工具支援codice_4引數,設定為多少秒,以等待同伺服器之間連續請求:

  一些大的Crawlers支援一項Allow指令,可以抵消先前Disallow指令。比如Googlebot。

  雖然robots.txt是最為廣泛接受的方法,但也可以與robots META標籤一起使用。robots META標籤主要是針對一個獨立的頁面設定,與其他的META標籤(如使用的語言、頁面的描述、關鍵詞等)一樣,robots META標籤也是放在頁面的HEAD標籤中,專門用來告訴搜尋引擎robots如何抓取該頁的內容。注
robots.txt(統一小寫)是一種存放於網站根目錄下的ASCII編碼的文字檔案,它通常告訴網路搜尋引擎的漫遊器(又稱網路蜘蛛),此網站中的哪些內容是不應被搜尋引擎的漫遊器獲取的,哪些是可以被漫遊器獲取的。因為一些系統中的URL是大小寫敏感的,所以robots.txt的檔名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜尋引擎的漫遊器訪問子目錄時的行為,那麼可以將自定的設定合併到根目錄下的robots.txt,或者使用robots後設資料(Metadata,又稱元資料)。