動画マーケティングリブランディングホームページ制作ランディングページ制作アクセス解析マスマーケティングSEMINARWORKSQ&ACOMPANYCONTACTmanegementnote経営改革NOTEホーム経営改革NOTESEO対策クローラーとは?Googleの検索エンジンの仕組みを解説クローラーとは?Googleの検索エンジンの仕組みを解説2021.10.03Webサイト運営を始めた方、これから始めようとしている方は「クローラー」という言葉を聞いたことがあるでしょう。SEO対策を通じて集客をするにはクローラーへの理解が必要です。そこで今回は、このクローラーについて解説します。正しい知識を身につけてWeb集客成功までの道のりを最短距離で進んでいきましょう。目次クローラーとは?SEO対策で欠かせない「クローラビリティ」クローラビリティを高めるポイントディレクトリ構造を3階層にする内部リンクは基本テキストでアンカーテキストは具体的にパンくずリストを設定するサイトマップを送信するクロールされたくない場合はどうする?クローラビリティを意識してSEO効果を高めましょうクローラーとは?クローラーとは、検索エンジンがネットで公開されているサイトの検索順位を決定するための情報を周期的に収集するための巡回プログラムのことです。集められたサイト情報は自動的に検索データベースに登録されて(これをインデックスと呼びます)、その情報を元に検索順位が決定されます。Slurp」と呼ばれています。Webサイト運営においてクローラーといえばGooglebotを指すことが大半となります。日本の検索エンジンシェアのほとんどはGoogleが握っているからです。GlobalStatsちなみにYahoo!の検索エンジンはGoogleをベースにしているので、Googleは90%以上のシェアを獲得しています。従ってこの記事もクローラーは、Googlebotを指すことを前提として記述します。SEO対策で欠かせない「クローラビリティ」Webサイトを検索上位へ表示させるためのSEO対策では「クローラビリティ」を意識することが大切です。クローラービリティとはいわば「クローラーがWebサイトを巡回しやすくすること」を意味します。クローラーがWebサイトの隅々までクロール(巡回)されて情報がもれなくインデックスされることで、サイトが正しく評価されて検索順位が上がることが期待できます。そのためには、Webサイトの構造を整理したり、クローラーに対してインデックスのリクエストを送信したりとクローラビリティのテクニックが欠かせません。クローラビリティを意識するか否かでSEO効果は大きく変わるので、次項で紹介するクローラビリティを高めるポイントを実践しましょう。クローラビリティを高めるポイントでは、クローラビリティを高めるポイントをご紹介します。ディレクトリ構造を3階層にするディレクトリとはWebサイトの階層構造のことです。トップページを1階層目として、以下の階層を3階層構造にするとクローラビリティが高まるとされています。「トップページ>カテゴリページ>コンテンツページ」という構成が一般的な階層構造になることが多いです。2回クリックで全てのコンテンツに辿り着けるよう設計すると、クローラビリティだけでなくユーザーの利便性も向上します。SEO対策のディレクトリについては以下の記事で詳しく解説しています。内部リンクは基本テキストでコンテンツに内部リンクを設置するとクローラーの回遊率がアップするので、積極的に内部リンクを設置しましょう。無意味な内部リンクは逆効果なので注意してください。自然な流れで他のコンテンツを紹介するように設置するのがベストです。内部リンクを設置する際はテキストがおすすめです。クローラーは画像よりもテキストの方が理解度が高いため、クローラビリティが向上します。href=””>~</a>)」で囲まれたテキストのことです。いわゆるリンク付きのテキストとなります。アンカーテキストを設置する際は「こちら」など抽象的な表現ではなく、具体的な表現でクローラーの理解度をアップさせましょう。アンカーテキストについては以下の記事で詳しく解説しています。関連記事:アンカーテキストとは?最適化に向けた取り組み手順もご紹介パンくずリストを設定する「パンくずリスト」とはコンテンツの上部または下部に表示される、ハイパーリンクで作られたナビゲーション表示です。以下のコンテンツでは赤枠で囲まれば部分がパンくずリストに該当します。パンくずリストを設定するとクローラーは現在どの階層にいるかを認識しやすくなり、クローラビリティが向上する可能性があります。ユーザーから見た場合も、現在表示されているコンテンツのサイト内での場所が理解しやすくなります。詳しくは以下の記事で解説しているので、ぜひ参考にしてください。関連記事:SEO対策でパンくずリストは必要?サイトマップを送信するサイトマップとはWebサイトに存在する全てのURLをリスト化したファイルのことです。このサイトマップをGoogleに送信すると定期的にクロールしてくれるので、毎回インデックスを申請する手間を省ける上にクローラビリティも向上します。サイトマップの送信方法は以下の記事で解説しているので、参考にしながらGoogleにサイトマップを送信しましょう。関連記事:サイトマップとは?SEO対策の上で重要な理由を解説クロールされたくない場合はどうする?最後に、クロールされたくない場合はどうすればよいのかという疑問にお答えします。その場合は該当するWebサイトに「robots.txt」と呼ばれるファイルとディレクトリのトップ(index.htmlの階層)にアップロードしてください。テスト運用中のWebサイトやミラーサイト、まだコンテンツがないWebサイトなどがクロールされると低い評価を受ける場合があります。ミラーサイトは本番サイトがペナルティを受ける可能性もあるので、クロールされないように設定するといいでしょう。「robots.txt」を設置するとクローラーの巡回を防げるので低評価やペナルティを避けることができます。クローラビリティを意識してSEO効果を高めましょう日本国内において、圧倒的なシェアを誇る検索エンジンを有するGoogleのクローラー「Googlebot」に対して、最適な対応をするクローラビリティはSEO施策の観点で非常に重要です。日々、意識することで自サイトのSEO効果は着実に上がっていきます。良質なコンテンツをきちんとGoogleに審査してもらうためにもクローラーを意識したSEO対策を実施してください。資料請求お問い合わせ。