//sample/以下の階層のクロールを拒否しています。その他の階層はすべて許可しています。「*」記号は、任意の長さの、任意のURL文字列にマッチさせるときに使います。URL文字列のいずれの部分にも使えます。・・・3それぞれ以下のように解釈されます。例:「/public_html/」や「/public_graphs/」も巡回されます。例:「/card_print.html」や「/store_print/product.html」は巡回されません。例:「/cart.php?sessionid=342bca31」は巡回されません。以下のように書かれていた場合、2つの「Disallow」の指示は、同等とみなされます。「$」記号は、URLの末尾にある、任意の文字列をマッチさせるときに使います。「$」記号がない場合、クローラーはプリフィクス(接頭辞)として扱い、記述された文字列を含むURLがすべてマッチします。「$」記号は、文字列の末尾でのみ意味をなします。クローラーが「$」記号を見つけると、末尾であると判断し、以降の文字列を無視します。コメント(0)MTでxmlサイトマップを作ってみる2009.05.26MTでxmlサイトマップを作ってみる訪れたユーザーにこのWEBサイトがどんな構造かわかりやすく紹介するためのサイトマップ、ではなくて、検索エンジンのクローラーにホームページの中身をお知らせするためのxmlサイトマップをMTで作成する。ホームページをMovableTypeでサイトを構築したら行いたい作業です。Search)で認識される共通のサイトマップ書式のようです。******************************インデックステンプレートに"Sitemap.xml"という名称で書き出されるように、テンプレートを新規作成。format="%Y-%m-%dT%H:%M:%SZ"$></lastmod></url></MTEntries></urlset>******************************後は各登録エンジンに設置したSitemap.xmlを通達。Googleウェブマスターツール右メニューの"サイトマップ"から、アップされいているSitemap.xmlを指定。Yahooサイトエクスプローラーフィード"から、アップされいているSitemap.xmlを指定。Centerツールが無い模様。robots.txtにsitemapのアドレスを登録することが出来る。************************************************************robots.txtを作成しルート階層にアップ。******************************すべての検索エンジンのクロールしてもらう場合。//www.gravity-works.jp/Sitemap.xmlその他、robots.txt階層ごとに拒否など。コメント(0)「wwwあり」・「wwwなし」を301転送で統一2009.05.26URLで「wwwあり」・「wwwなし」では表示する内容や人がかなえる意味は同じでも、検索エンジンとしては、別のURLとして個別登録してしまいます。//www.gravity-works.jp/↓↑別物http://www.gravity-works.jp/個別にインデックスされてしまうということで、SEO的なデメリットが発生します。・同一内容のクローンページとしてマークされてしまう。スパム扱いにされる危険性あり。・外部要因で重要なバックリンク(被リンク)された場合にもwwwありとwwwなしが混在すると、リンク数も分散し効果が半減。どちらかに揃える事はSEO対策の基本とされているようです。.htaccessを使って301転送でどちらかのドメインを統一したいドメインにリダイレクトするのがよいようです。.htaccessとは、ApacheなどのWebサーバで使用できる、Webサーバの動作を制御するためのファイル。指定は階層(ディレクトリ)単位。設置した階層以下の全てのとページで有効となります。301は永久的な移転を意味するリダイレクト。検索エンジンによるサイト評価や情報が引き継がれると言われています。当然ですが、wwwの統一だけでなく、URLの変更や引っ越しなどのときにも301転送を使うといいですね。ちなみに、一時的なりダイレクトは302。