あなたが運営しているサイトがGoogleなどの検索結果に出てくるのは、検索エンジンロボットがサイトをクロール（巡回）してくれるからです。クロールすることでページの内容を理解し、その理解に応じて検索結果に反映することができます。
そのため、検索エンジンロボットがあなたのサイトをクロールしてくれることはSEOで重要なことです。そして、クロールバジェット（予算）とはWebページをクロールすることができる上限のことを示します。
今回は、クロールバジェットを意識したSEO最適化を図る7つの方法を紹介してきます。
Contents
クロールバジェットとは
クロールバジェットとは、あなたのサイトのページをクロールしてくれる上限のことをいいます。バジェットとは予算と訳されますので、クロールバジェットとはクロール予算とも言い換えられます。
SEO屋の中では「クロールバジェットの無駄遣い」であったり、「クロールバジェットに達して、ページが見られない」といった風に会話をします。
クロールバジェットの最適化はなぜ必要？
クロールバジェットは、なぜSEOで意識しなければならないでしょうか。そこには、クロールバジェットがなくなってしまうと、あなたのサイトのページを検索エンジンロボットがクロールしてくれなくなってしまうリスクがあるからです。
ググった結果の検索結果に表示するためには、Googleなどの検索エンジンロボットがあなたのページをクロールする必要があります。クロールをした内容を評価した上で、検索結果の順位を決めています。つまり、検索エンジンロボットがあなたのページをクロールしないと、検索結果の順位決めの候補にすらならない可能性があります。
クロールバジェットを最適化することで、あなたのページをクロールしてくれることが見込めるのです。
クロールバジェットを最適化する7つの方法
①：robots.txtでクロールを許可するページを管理する
robots.txtは、クローラーを制御するためのファイルです。このrobots.txtではクロールさせる必要がないページを検索エンジンロボットに伝えることができます。一方で、重要なページのクロールを管理することができます。
ここでのSEO最適化ポイントは、クロールをする必要がないページをrobots.txtで制御することで、クロールバジェットの無駄遣いを防ぐことができるという点です。
②：リダイレクトチェーン（繰り返し）をしないこと
サイト運営をしていく上で、301リダイレクトや302リダイレクトは、欠かせない処理です。
301リダイレクトとは、ページのURLが変更（永久に変更）となったときに行うリダイレクト処理のことを指します。３０２リダイレクトとは一時的なURLの変更となったことを示します。
ただ、リダイレクトを行うときは注意が必要です。なぜなら、リダイレクトが繰り返されると、その都度ページの読み込みが発生することになり、クロールバジェットの無駄遣いが発生して、クロールバジェットがなくなります。已を得ないリダイレクトは仕方がないですが、リダイレクトチェーン（繰り返し）はなるべく避けるのが賢明です。
③：できるだけHTMLコーディングをすること
Googleの性能が良くなったクローラーは、JavaScriptの理解が深まりました。JavaScriptの理解が深まったことで、最近はクロール処理改善がされてきました。ただ、他の検索エンジンのクローラーを考えると、GoogleほどJavaScriptの理解が深まっていない可能性があります。
他の検索エンジンクローラーを考えると、HTMLの方がクローラーの処理が適切に行われるケースが多いので、HTMLコーディングがクロールバジェットから推奨です。
④：404ページのクロールを少なくする
技術的な話をすると、掲載終了となった際に表示される404ページをクローラーが巡回することは、クロールバジェットを消費することになります。あなたのページの中にリンク切れのリンクがそのままにしてあるといった場合は、リンク切れの箇所を修正するなどの対応をするようにしましょう。
⑤：URLパラメーターで生成されるページの注意
大規模な検索サイトを作っているサイトは注意が必要です。検索サイトの場合、検索結果をURLパラメーターで表示されることもありますが、URLパラメーターが無数に生成されている場合、無数に生成されたページをクロールすることになり、クロールバジェットがかなり無駄遣いになります。
検索結果などで使われるURLパラメーターのページの取り扱いは、特に気をつける必要があります。
URLパラメーターをGETメソッドで表示させるのか、URLパラメーターページを表示させないようにPOSTメソッドで表示させるのかは、サイトのクロールバジェットを考える上で、非常に重要な意味合いを持ちます。
⑥：sitemap.xml（サイトマップエックスエムエル）を作成・更新しよう
クロールバジェットの最適化は、sitemap.xmlを作成・更新していくことが重要です。sitemap.xmlはxml形式で記述します。sitemap.xmlには、クロールをして欲しいあなたのサイトのURLを記述します。
このsitemap.xmlにクロールして欲しいURLを検索エンジンロボットに伝えることで、検索エンジンロボットはクロールする価値のあるページだと認識してクロールしてもらえることが期待できます。
⑦：多言語サイトはhreflangを設定すること
日本語以外に英語や中国語ページが、同じ内容で存在する場合はhreflangを設定しましょう。ページのローカライズ版があることを検索エンジンロボットに教えてあげることで、クロールバジェットの最適化をすることができます。
まとめ
クロールバジェットの最適化方法を伝えていきましたが、あなたのサイトではどのくらいできているでしょうか。大規模サイトであればあるほど、クロールバジェットの最適化はSEOで重要です。まだクロールバジェット最適化を行っていない人は、すぐに始めることができる内容から始めましょう！
