検索クローラーに頻繁にサイトをチェックしてもらう方法

クロールの頻度はクローラーバジェットで決まる

クローラーバジェットとは、検索エンジンがどれくらい頻繁にサイトをチェックするかを決める、クローラー側の枠です。

これまでクローラーバジェットは「SEOの都市伝説」とされていましたが、2017年にGoogleが公式に存在を認めたことでSEO界隈でも広く意識されるようになりました。

Googlebot のクロールバジェットとは？ | Google ウェブマスター向け公式ブログ

このGoogle ウェブマスター向け公式ブログの記事にある通り、基本的にはサイト運営者はクロールバジェットを意識する必要はありませんが、対策することでクロールの頻度を増やせる可能性があります。

クローラーバジェットを増やす

もし、

クローラー統計でクロールリクエストがあ更新頻度よりも低い
思った通りにキーワードが拾われていない
ページがしっかりインデックスされていない

という場合は、クローラーバジェットが少ない可能性があります。その場合は、クローラーバジェットを増やす対策をしましょう。

ページ速度を高速化する

ページの表示速度が速いほど、クロールリクエストが増えることはGoogleが公式に認めています。

しばらくの間サイトが迅速に応答している場合、クロール速度の上限が上がり、クロール時に使用可能な接続の数が増えます。サイトの応答が遅くなった場合やサーバーエラーが返される場合、クロール速度の上限が下がり、Googlebot によるクロールが減ります。

Googlebot のクロールバジェットとは？ | Google ウェブマスター向け公式ブログ

具体的に「このくらい遅かったら制限する」という指標は明らかになっていませんが、Google Search Consolejsonの「クロールの統計情報」でクローラーのレスポンススピードが1000msecを超えるようであれば、ページ速度が足かせになっている可能性はあるでしょう。

ページ速度は検索ランキングを決めるSEOの重要要素でもあるので、対策しておいて損はありません。

有益なコンテンツの更新数を増やす

クローラーは「新しい有益な情報があるか」を確認するためにクローリングするわけですから、更新された有益な情報が多ければ多いほど、検索エンジンがクローラーバジェットを増やすことに繋がります。

新しいページを追加するだけだと重い作業になってしまいますが、すでに公開したページの加筆・修正をしたり、画像などのリッチコンテンツを追加したりして、コンテンツの価値を高める作業を含めれば、更新頻度は自ずと高くなります。また、この作業はそのまま「優れたコンテンツを作る」というSEOの根幹の作業に繋がります。