クローラビリティを意識してサイトを構築しよう
WEBZINNEトピックス編集部公開日：2020年10月29日
実は重要な指標でありながら、SEOの項目としてはあまり注目されないのが「クローラビリティ」。なぜクローラビリティが大事なのか、クローラビリティを高めるための方法をまとめました。
クローラビリティとは？
Google BotやBing Botなどのクローラー（ページデータ収集マシン）が、クローリングをしやすくすることを「クローラビリティ」と呼びます。
クローリングをしやすくというと漠然としていますが、具体的には、
- ページの探しやすさ
- ページロードのしやすさ（速度）
の2点が大事です。
なぜクローラビリティが大事なのか
検索エンジンが検索結果を作る際には、
- クロールしてページ情報を取得する
- ページのユニーク度などからインデックスに登録するか判定する
- インデックスに登録されたデータ内でランキングをする
という順序で行います。
こうしてみるとわかりますが、クロールは検索結果を作成するの最初の一方です。
いかに、優れたコンテンツを持つページでも、クローリングされなければ永遠に検索結果に出てきません。検索エンジンでの露出を考えるなら、極端に言えば「クロールされてなんぼ」なのです。
サイト運営者としては、クローラビリティを高めて、「より多くのページを、より多くの頻度で」クローラーに取得してもらうことが、SEOでは重要になります。
クローラビリティを高める上で大事なポイント
ページの探しやすさと結びつき
サイト運営者からすればどこにどんなコンテンツがあって、何に関するページなのかを100%把握しています。また、ページを視覚的に捉えることができる訪問者は人間ですから、色や文字サイズ、画像など様々な情報からリンクを評価して、サイト内を巡回できます。
しかし、クローラーはプログラムですから、「どこにどんなコンテンツがあるのか」「どんな関連性があるのか」を取得したHTMLソースから判断するしかありません。そこで重要になるのが、「クローラーから見たページの探しやすさと結びつき」です。
クローラーは、
- XMLサイトマップ
- ページ内のリンク
- 外部ページからのリンク
の3つのソースを元に、コンテンツを探しに行きます。クローラーは、これ以外に「ページがある」という情報を得ることができません。
ですから、1つのページをクロールした際の「他のページへの辿りやすさ」が大事になります。ページとページの関連性はここから生まれます。「SEOでは内部リンク対策が大事」というのは、クローラビリィにも関連しています。
また、「全てのページにアクセス可能な内部リンクビルディング」も非常になります。Googleは「3クリック以内に目的のページに到達できることが大事」と公式に発表していますが、これはクローリングという観点でも同じです。
やってみると、「全てのページから、3ページ以内で目的のページにたどり着く」というのが意外と難しいとわかります。ページの探しやすさの改善は、ユーザービリティにも繋がるため、SEOでは非常に重要です。
ページロードのしやすさ（速度）
いくら巨大企業であるGoogleやMicrosoftでも、有益かどうかわからないサイトのページクローリングするために無限にサーバーリソースがあるわけではありません。サイトやページの重要度を決めて、クローリング頻度（クロール・バジェット）を決めていると言われています。
サイト運営者がクローラーにより多くのページを巡回してもらうためには、クローラーが省エネで巡回できるようにするのが大事です。クローラーにとって一番のコストは「時間」です。
例えば、1ページの表示するためにかかる時間が3秒のサイトは、0.5秒で表示できるサイトの6倍の時間を必要とします。1ページではそこまで大きな差はありませんが、1,000ページあるサイトだとどうでしょうか？3秒かかるサイトは全ページを読み込むのに3,000秒(50分)かかりますが、0.5秒のサイトは8分ちょっとで全部ページをクロールできます。
仮にVPSサーバーで考えると、最安値プランでも1時間1円くらいのコストがかかるので、ページ表示に3秒かかるサイトは全ページ（1,000ページ）、365日毎日クロールすると、1年で365円のコストがかかります。
1サイトなら良いですが、世界には約17億サイトあると言われているので、全てのサイトに同じコストをかけていると、クローラーの運営だけで単純計算で年間5,000億円以上のコストがかかります。ここまでみると、ロードスピードがいかに重要だということがわかります。
検索エンジンからすれば、「低コストで高い成果（検索ユーザーの満足度）をあげるサイト」が良いサイトですから、ページ速度をあげることは検索エンジンにとってはメリットがあるのです。
クローラビリティの確認方法
自分のサイトが実際にきちんとクローリングされているかは、サーバーのログを解析すればわかります。
しかし、サーバーログの解析は知識が必要だったり、サーバーによっては提供されていないケースもあるため、万能なチェック方法は、GoogleならSearch Consoleの「クロールの統計情報」を確認する方法です。
クロールの統計情報には、
- 1 日あたりのクロールされたページ数
- 1 日にダウンロードされるキロバイト（KB）数
- ページのダウンロード時間 (ミリ秒)
が90日分表示されるので、クロールされるページが少なくないか、ダウンロード時間が長くないかをチェックしましょう。
なお、「クロールの統計情報」は旧ツール扱いなので、「ドメイン・プロパティ」では表示ができません。必ず「URLプレフィックス・プロパティ」を登録しましょう。
クローラビリティの向上はユーザービリティにも繋がる
ここまで見てきてわかる通り、
- ページの探しやすさと結びつき
- ページロードのしやすさ（速度）
というのは、実はユーザービリティにも繋がる部分で、クローラーを無視したとしても、サイトを運営する上で重要なポイントです。
あくまでコンテンツが充実している前提ですが、SEO対策をするのであれば、まず最初にやるべきは外部リンクでも文字数でもなく、クローラビリティ（ユーザービリティ）の向上です。
クローラビリティとは何か、なぜ重要なのか、クローラビリティを高める方法を見てきました。
こうしてみるとSEOでかなり重要なポイントだとわかりますが、意外と軽視されがちなのがクローラビリティ。サイト運営している方は、一度ご自身のサイトをチェックしてみてください。