all</Files>※.htaccessで表示させたくないファイルの拡張子を指定。dat|log|csvを入れる。ブラウザ越し(http://)に表示ができない。大切なデータの流出を防く。<meta>タグを使って直接記述する場合と、ドキュメントルートトップにrobots.txtをアップして一括して行う場合と、2つのケースに分かれる。robots.txtでは、以下のパターン記号が使用できます。/※"User-Agent:"はクローラーの種類で、指定が必要な場合はgoogleウェブマスターツールなどを参照に自動生成してくれます。