最終更新日2023年08月28日ウェブサイトの鮮度を保ち、検索エンジンでの表示順位を向上させるには、定期的なコンテンツの更新が不可欠。言え、数百、数千もページあるサイトを運営していると、更新内容を検索エンジンにいちいちお知らせするのは、なかなか手間のかかる作業です。サイトを頻繁に更新する場合、その変化がSEOに良い影響を与えているかどうかは、どのように確認すればいいのでしょうか。そこで役に立つのが、ウェブクローラーです。クローラーは、サイトマップに加えられた変更をスクレイピングし、コンテンツを検索エンジンにインデックスする役割を担います。この記事では、知っておくべき主要ウェブクローラーボットをご紹介していきます。本題に入る前に、まずはウェブクローラーの定義とその仕組みを押さえておきましょう。ウェブクローラーとはウェブクローラーとは、ウェブページをスキャンし、検索エンジンにインデックス情報を提供するコンピュータプログラムです。「スパイダー」または「ボット(bot)」とも呼ばれます。検索エンジンが、検索を行うユーザーに最新のページを表示するには、このクローリングが必要になります。この処理は、(クローラーとサイトの設定によって)自動で実行されることもあれば、サイト所有者がリクエストすることもできます。ウェブページのSEOは、関連性、被リンク、利用しているホスティングサービスなど、さまざまな要素が関係しますが、まずは、検索エンジンにクロールされ、インデックス化されなければ意味がありません。サイトが適切にクロールされる様、妨げになる要素を排除し、クローラビリティを高めることが鍵となります。クローラーは、できる限り正確な情報を表示するため、サイトを継続的に巡回し、スクレイピングしています。Googleは、米国で最も訪問者数の多いサイトであり、検索の約26.9%は米国拠点のユーザーによるものです。Statista)すべての検索エンジン向けにデータを収集する集約的なクローラーは存在しません。検索エンジンには、それぞれ特徴や強みがあります。主要なウェブクローラーを調べてリスト化しておくと、受け入れるべきクローラー、逆に拒否すべきクローラーを区別しやすくなるはずです。マーケティング担当者は、あらゆるクローラーの存在を把握し、(コンテンツを再利用する悪質なコンテンツスクレイパーとは異なり)それぞれどのようにサイトを評価するかを理解した上で、検索エンジン向けランディングページを最適化したいところ。ウェブクローラーの仕組みウェブクローラーは、公開されているウェブページを自動でスキャンし、データをインデックス化します。ウェブページに関連する特定のキーワードを検出し、取得したデータをGoogleやBingなどの関連検索エンジンに登録(インデックス化)します。Patel)その後、一般ユーザーがキーワードで検索を行うと、検索エンジンのアルゴリズムがそのデータを取得します。クロールは、既知のURLから優先的に行われます。既知のURLとは、ウェブクローラーの巡回を誘導するシグナルのあるページを意味します。そのシグナルには、以下のようなものが挙げられます。訪問者数─そのページへのアクセス数ドメインオーソリティ(DA)─ドメインの総合的な質クローリング後、検索エンジンのインデックスにデータが格納されていきます。ユーザーが検索を開始すると、アルゴリズムがインデックスから取得したデータが検索結果のページに表示される仕組みです。この処理は、数ミリ秒以内に行われるため、ユーザーには検索結果がすぐに表示されるのが一般的です。サイト運営者は、サーバー上のrobots.txtを使い、どのボットにサイトのクロールを許可するか決めることができます。各ウェブページのrobots.txtに記述する内容によって、クローラーにスキャンされたり、インデックスがスキップされたりします。クローラーが求めている要素を把握することで、その検索エンジンに対してより良いコンテンツを提示することができるようになります。ウェブクローラーの種類ウェブクローラーには、大きく分けて以下の3つの種類があります。自社開発のクローラー:企業の開発チームがサイトをスキャンするために開発するクローラー。サイトの監査や最適化に使用される。FrogのようなSEOツールとあわせて開発されるクローラー。SEO強化のために、自らのコンテンツをクロール、分析するのに使用。オープンソースのクローラー:世界中の開発者(またはハッカー)によって構築されるクローラーで無料で利用可能。事業やサイトの成長に役立つクローラーを見極めるために、ぜひともクローラーの種類は押さえておきましょう。主要ウェブクローラー12選すべての検索エンジンに対応する万能クローラーは存在しません。世界中で利用されている検索エンジンはそれぞれ、ウェブページを巡回し評価するクローラーを持っています。ここからは、主要ウェブクローラーを見ていきましょう。GooglebotGooglebotは、Googleの検索エンジンに表示するサイトをクロールするGoogle専用のウェブクローラーです。Googleの検索結果用にサイトをインデックスする「Googlebot」Googlebotには、PC版とスマートフォン版がありますが、基本的には1つのクローラーであると言われています。いうのも、どちらも各サイトのrobots.txtに記述された同じユーザーエージェント(UA)名「Googlebot」に従っているためです。Googlebotは、通常、数秒ごとにサイトを訪れます(サイトのrobots.txtで拒否されていない場合)。スキャンされたページのバックアップは、統合データベースであるGoogleキャッシュに保存され、サイトの旧バージョンも確認することができます。Consoleは、Googlebotがどのようにサイトをクロールしているかを把握し、ページを検索エンジン向けに最適化するウェブサービスとして存在します。BingbotBingbotは、2010年にMicrosoftによって開発されました。Bingで最新の検索結果が表示されるよう、URLのスキャンとインデックスを行います。Bingに関連する検索結果を提供する「Bingbot」Googlebot同様、サイトのrobots.txtで、Bingbot(ユーザーエージェント名「bingbot」)のクロールを許可するかどうかを定義できます。Bingbotでは、最近ユーザーエージェント名に変更があり、モバイルファーストインデックスのクローラーとPC版のクローラーが区別されるようになりました。Toolsを駆使することで、サイトへのアクセスや検索結果表示状況について高い柔軟性が確保できます。Botは、Yandex専用のクローラーです。Yandexは、ロシア最大、かつロシアで最も使用されている検索エンジンです。Botについても、robots.txtファイルを使用して、自分のサイトのページをクロールさせるように設定できます。されたページが表示される)を作成したりすることも可能です。ApplebotApplebotは、AppleのSiriやSpotlightの提案で紹介されるウェブページのクロールとインデックス作成を行います。AppleのSiriとSpotlightのウェブクローラー「Applebot」SiriとSpotlightの提案に表示させるコンテンツの順位を決定する際には、さまざまな要素が考慮されます。これには、ユーザーエンゲージメント、検索キーワードの関連性、リンク数と質、位置情報ベースのシグナル、ウェブページのデザインが挙げられます。DuckDuckBotDuckDuckBotは、ウェブブラウザ上でシームレスなプライバシー保護を提供するDuckDuckGoの専用クローラーです。APIを使用すると、DuckDuckBotが自分のサイトを巡回しているかどうかを確認することができます。APIのデータベースにIPアドレスとユーザーエージェントが保存されます。これによって、DuckDuckBotになりすました偽物や悪質なボットを特定できます。Spiderは、中国の大手検索エンジンであるBaidu(百度)の専用クローラーです。Spiderによるクロールを有効にすることが重要です。baiduspider-image、baiduspider-videoなどのユーザーエージェント名に注目してください。Spiderをブロックすると、Baiduの検索結果ページ(SERP)にサイトが表示されなくなります。SpiderSogou(捜狗)もまた中国の検索エンジンです。100億件の中国語ページをインデックスした最初の検索エンジンと言われています。Spiderは、中国市場で事業を行うなら、Baidu同様、必ず押さえておきたい人気検索エンジンクローラーです。robots.txtとcrawl-delayの設定に従ってクロールを行います。Spider同様、中国に顧客や読者を持たない場合には、サイト速度の最適化のため拒否することをお勧めします。Hit)は、Facebook上で共有されているアプリやウェブサイトのHTMLをクロールします。サイトをインデックスする「Facebookクローラー」(リンク共有時に必要な情報を取得)クローリングによって、Facebook上に投稿された各リンクについて、(共有時に有用となる)タイトル、説明文、サムネイル画像などのプレビューが生成されます。数秒以内にコンテンツをクロールできないとFacebook上にコンテンツが表示されなくなるため、注意が必要です。Exabot2000年に誕生した、パリに本社を構えるソフトウェア会社Exalead。同社は、消費者および企業向けの検索プラットフォームを運営しています。検索プラットフォームExaleadのクローラー「Exabot」Exabotは、同社のCloudView製品上に構築されたコア検索エンジンのクローラーです。多くの検索エンジンと同様、Exaleadでは、被リンクとウェブページのコンテンツを指標に、表示順位が決まります。Exaleadのクローラー(ユーザーエージェント)であるExabotにより、訪問者に表示する検索結果をまとめたメインインデックスが作成されます。Swiftbot続いては、Swiftypeというサイト内検索サービスのクローラーです。同サービスは、一流の検索技術、アルゴリズム、コンテンツ取得フレームワーク、クライアント、分析ツールの融合を謳っています。Swiftypeはサイト内の検索を強化するサービスを提供ページ数の膨大な複雑なサイトであっても、Swiftypeを使ってすべてのページを簡単にカタログ化、インデックス化できます。SwiftypeのウェブクローラーであるSwiftbotは、他のボットとは異なり、顧客にリクエストされたサイトのみをクロールします。Botは、Yahoo!の検索ボットで、Yahoo!の検索結果に表示されるページのクロール、インデックス化を担います。Botは、Yahoo.comだけでなく、Yahoo!ニュース、Yahoo!ファイナンス、Yahoo!スポーツなどのクローラーでもあり、関連サイトの一覧表示に貢献しています。コンテンツのインデックス化により、検索結果における関連性が高まり、利用者にとってのパーソナライズも実現します。Crawlが開発したNutchベースのウェブクローラー。法人個人を問わず、オンライン調査を行うユーザー向けにインターネットのコピーを無償提供することを目的としています。CCBotは、MapReduceというプログラミングフレームワークを採用しており、大量のデータを価値ある集計結果に凝縮することができます。Crawlのデータを使って言語翻訳ソフトを改良したり、トレンドを予測したりすることも。Crawlから得たデータセットで訓練されています。主要ウェブクローラーを12種類押さえたところで、次に、人気のSEOツールとそのクローラーも見ていきましょう。AhrefsBotAhrefsBotは、人気SEOソフトウェアであるAhrefsが提供する12兆件のリンクデータベースを集計し、インデックスを作成するウェブクローラーです。SEOプラットフォームAhrefsのサイトをインデックス化する「AhrefsBot」AhrefsBotは、毎日60億のウェブサイトを巡回し、Googlebotに次いで2番目にアクティブなクローラーとして知られています。他のボットと同様、robots.txtの設定、および各サイトのコードにある許可/不許可の指示に従って動作します。Botは、SEOソフトウェアの代表企業Semrushのクローラーです。同社のプラットフォーム上で顧客が使用するサイトデータを収集、インデックス化しています。Assistantに使用されます。Botによるサイト巡回は、具体的には、ページのURL一覧作成、各ページの訪問、次回以降のクロールを考慮した特定のハイパーリンクの保存といった流れになります。Campaign機能のサイト監査用にコンテンツを収集します。人気SEOソフトウェアMozのクローラー「Rogerbot」robots.txtファイルで設定されたすべてのルールに準拠するため、Rogerbotによるクロールの許可/不許可の指定が可能です。Rogerbotでは多面的なアプローチが採用されており、固定IPアドレスを検索して、自分のサイトのどのページがクロールされたかを確認することはできません。Frogは、SEO担当者向けのクローラーで、サイトを監査し、検索エンジンの表示順位に影響を与える問題点を特定することができます。Frog」クロールでリアルタイムのデータを確認し、リンク切れやページタイトル、メタデータ、ボット、重複コンテンツなどの改善点を把握することができます。クロールのパラメータを設定するには、ライセンスの購入が必要です。Lumar(旧DeepCrawl)Lumarは、サイトの技術的健全性確保のための「司令室」のようなテクニカルSEOツールです。Lumarを使用してサイトをクロールし、サイトの設計を行うことができます。サイトクローラーDeepCrawlが進化して「Lumar」にLumarは、市場最速のサイトクローラーであると謳っており、1秒間に最大450件のURLをクロールします。MajesticMajesticは、サイトの被リンクの追跡と特定に重点を置いたツールです。Majesticでは、SEO強化に欠かせない被リンクのデータを確認できる同社は、インターネット上で最も包括的な被リンクデータを有している企業の1社であると宣言し、「ヒストリックインデックス」(2021年には5年から15年分のリンクに増加)を売りにしています。クローラーによって収集された情報は、同社SEOツールを利用することで詳細データとして確認することができます。cognitiveSEOcognitiveSEOもまた、多くのSEO担当者やマーケターが利用する優れたSEOソフトウェアです。強力なサイト監視機能を搭載した「congnitiveSEO」cognitiveSEOのクローラーを使用し、サイトアーキテクチャや包括的なSEOの施策を支えるサイト監査を行うことができます。ページをクロールし、利用者の設定に従って柔軟にデータを収集してくれます。不要なクローラーの拒否に利用できる有益な情報です。OncrawlOncrawlは、業界を牽引するSEOクローラーおよびログ分析ツールで、大企業向けにサービスを展開しています。独自のデータを取得するSEOクローラー「Oncrawl」アカウントを作成し、特定のパラメータ(開始URL、クロール制限、最大クロール速度など)を設定することが可能で、設定を保存しておけば、いつでも同じパラメータでクロールを行うことができます。悪意のあるウェブクローラーからサイトを守るには残念ながら、サイトにとって、すべてのクローラーが有益になるというわけではありません。ページの表示速度に悪影響を与えるものもあれば、ハッキングなどの悪意のあるクローラーも存在します。したがって、ボットのクロールを拒否する方法も知っておくことが重要です。主要クローラーを網羅し、どのクローラーが優良であるかを把握して、怪しいクローラーはブロックリストに追加しましょう。主要なクローラーを幅広く押さえておけば、どれを許可し、どれを拒否するかを選別しやすくなります。各クローラーに関連する識別情報、ユーザーエージェントとUA文字列、およびIPアドレスを一覧にしましょう。ユーザーエージェントとIPアドレスがあれば、DNSルックアップ、またはIP照合で、この2つが一致するかどうかを調べることができます。完全に一致しない場合は、優良なクローラーを装った悪意のあるボットである可能性があります。その場合は、robots.txtのメタタグでクロールの許可設定を変更し、悪質なクローラーを拒否しましょう。まとめウェブクローラーは、検索エンジンを支える存在。マーケターであれば、深い理解が必要です。サイトの成功のためには、適切なクローラーに巡回されることが不可欠。主要なクローラーを幅広く把握しておくことで、ログが表示された際に、どのクローラーに注意すべきかを確認することができます。SEOツールのクローラーの推奨事項をもとに、サイトのコンテンツと速度を改善すれば、サイトのクローラビリティが向上し、検索エンジンと検索を行うユーザーに向けて、正しい情報をインデックスすることができます。アプリケーション、データベース、WordPressサイトのすべてを一箇所で。Kinstaの高性能クラウドプラットフォームでは、次のような便利な性能や機能の数々をご用意しています。最大37箇所のデータセンター、260のPoPを武器に世界規模でオーディエンスに訴求アプリケーションホスティング、データベースホスティングを無料利用枠を使いお試しいただけます。プラン一覧をご覧いただくか、お客様のご要望について営業までお気軽にお問い合わせください。KinstaKinstaのコンテンツ&マーケティングエディター、WordPress開発者、コンテンツライター。WordPress以外の趣味は、ビーチでのんびりすること、ゴルフ、映画。LinkedIn関連記事とトピック【共用サーバーを超える】WordPress専用マネージドホスティングKinstaのWordPress専用マネージドホスティングは、すべてのプランに比類のないサイトパフォーマンスを実現する、エンタープライズレベルの機能が付帯。コメントをキャンセル【コメントに関する方針】皆様のコメントに感謝申し上げます。ご意見がございましたらお気軽にお聞かせください。すべてのコメントが手動でモデレートされ、スパムや宣伝とみなされるものは削除されますので予めご了承ください。メールアドレスが公開されることはありません。※このフォームを送信することにより、米国へのデータ転送を含む、Kinstaの個人情報保護方針に従ったデータ送信など、個人データの処理に同意したことになります。Inc.が所有する登録商標です。Inc.の知的財産です。Inc.による推奨や承認を意味するものではありません。Inc.により認定、所有されておらず、関連会社でもありません。