難しいツールを使わずに、最近話題の「クロール配分」を調べる方法。›これは広告ですSEO業界では最近、「クロール配分」が話題に上っている。クロール配分は新しい概念ではなく、ランドのイラスト付きガイドの日本語訳で説明したような内容を、マット・カッツ氏がエリック・エンゲ氏によるインタビュー記事でおおっぴらに語っていた。ここで大きな問題となるのは、グーグルがサイトをどのようにクロールしているかを把握する方法だ。これを測定するには多種多様な方法が存在するが(Webサーバーのログファイルを見るのは、わかりやすい解決策の一例)、僕がこれから概説するやり方は、専門知識がなくてもできる。必要なのは以下の3つだけだ。AnalyticsExcelこの記事のゴールこの記事で紹介するやり方で作業すれば、次のような、カテゴリごとにクロール配分やトラフィックシェアを一覧した表を作れる。して整理すると、サイト内のどこがクロール量に対してトラフィックの価値が高い/低いといった問題をわかりやすくチェック/レポートできるようになるのだ。SEO」(SEOのためのログファイル分析)という2つの記事が役に立つかもしれない。Googlebotがサイトをクロールしたからといって、必ずページがインデックスされるわけじゃないことは、指摘しておくべきだろう。これは変な話に思えるかもしれないけど、ログファイルを調べたことがあるなら、Googlebotが時に異常な数のページを訪問するのに、多くの場合そのページを実際にコピーしてキャッシュに保存するのは何回か訪問した後になる、ということに気づくだろう。これから紹介する、グーグルから訪問を受けたURLと、ウェブマスターツールから分かるサイト内リンクのあるページを、組み合わせて使う方法がかなり正確だと思う。いえ、ログファイルのデータを第3のデータとしてこの手順に組み込めば、もっとすばらしい結果が期待できるだろう(データが増えるのはいいことだ!)。いずれにせよ、理屈はここまでにして、サイトの中でグーグルがクロールしているページを把握し、実際にトラフィックを獲得しているページと比較するにはどうしたらいいか、専門知識なしで実行できる手順を1つずつ見ていこう。原文でもコメントで指摘があり筆者も認めている点だが、この記事の解説は、Excelの扱い方に慣れている人向けになっている。日本語訳バージョンでは可能な限り補足を入れるようにしたが、「読んでそのとおり作業すればできる」解説にまではなっていないので、ご了承いただきたい。内部リンクのデータをダウンロードするウェブマスターツールにアクセスして「内部リンク」を開く。内部リンクのページが表示されたら、ページ最下部にある「このテーブルをダウンロード」をクリックする(「すべての内部リンクをダウンロード」ではない)。これで、グーグルが内部リンクを把握しているページの表が手に入る。本記事ではこれ以降、このデータをグーグルのクロール数の概算として扱うことを留意してほしい。これについては記事冒頭の解説を参照してほしい。僕の感触では、これはグーグルで「site:」を使った検索よりも正確だ。これには落とし穴もある。このレポートからわかるのはリンクが張られているページの数であり、グーグルがクロールしたページの数ではないからだ。それでもグーグルのインデックスを測定するのに悪い方法ではない。この方法が不正確になるのは、「rel=nofollow」付きのサイト内リンクや、(リンクを張っているのに)robots.txtでブロックされているページがたくさんある場合だけだ。Analyticsを使っている人ならよく知っているはずだ。最近30日のオーガニックトラフィックレポートを開いて閲覧開始ページを表示し、データをダウンロードしよう。留意すべきは、可能な限り多くのデータを入手できるよう、URLに「&limit=50000」を付け足してから「CSVとしてエクスポート」をクリックすべきだということ。ランディングページが5万以上ある場合は、対象の期間を狭くするか、より高度な方法を試してみよう(ログファイルを使う方法について述べた部分を参照してもらいたい)。Analyticsの管理画面にアクセスしてからの作業の手順は次のとおり。[トラフィック]>[検索エンジン]を開くグラフの下にある「表示:」で「合算」となっている部分を「オーガニック」に変更する。表の上の「参照元」になってるドロップダウンを「閲覧開始ページ」に変更する。ブラウザのURLバーの最後に「&limit=50000」を入れて[Enter]を押す(ページ表示は変わらない)。Analyticsのグラフの上にある[エクスポート]ボタンをクリックしてTSV形式でダウンロード(経験上、「CSV形式(Excel)」よりもこちらのほうがトラブルが少ない)。ダウンロードが完了したら、そのファイルの文字コードをShift-JISに変更して保存しておく。掲載された以下の記事を日本語訳したものです。最近(過去90日間)の記事で、Facebookの「いいね!」が多かった記事をお見逃し無く。18:45この記事を参考に、クロール配分を行いました。MovableTypeで構築しており、通常のHTMLでページを生成しています。データを抽出したところ、MTのtagなどの検索CGIにあたる動的ページもリストにあがってきます。mt-serach.cgi・・・のページをTagカテゴリとし、このページを含め、編集しました。すると、「Tag」カテゴリのクロール配分が、44%でトラフィックのシェアが0.6%となりました。mt-serach.cgiは、クロールしていることは把握し、それなりに有益ではと考えていましたが、このデータをみるところ、そうではないですね。※記事へのコメント機能は2021年11月をもって終了しました。編集部へのご連絡は、問い合わせフォーム・メール・Twitterなどをご利用ください。広告が目指す戦略アドフラウド対策でCPA改善!「おとなの自動車保険」のデジタル広告が“損失1700万円”を克服するまで成功事例・失敗から学ぶWebサイトリニューアル。Plan(事業継続計画)の略。顧客理解のためのUXリサーチ実践講座~インタビュー・ネットリサーチから分析手法をワークショップで学ぶすべて見るインフォメーションWeb担のメルマガを購読しませんか?Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。編集後記サイトマップFAQ(よくある質問とその答)Web担に広告を掲載しませんか?購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。Web担主催のイベントに協賛しませんか?年4回実施している数百人~3,4千人規模の無料イベント。イベントに協賛して、新規のリード獲得・認知向上をしませんか。寄稿記事・取材の企画の募集はこちらWeb担に寄稿したい、取材してもらいたい、などの場合はこちらから情報提供お願いします。