クローラーとは？GoogleのSEO対策と効果的な呼び込み方

SEO担当者なら理解しておきたいクローラー。

Google検索で集客するためにはクローラーを理解した上で適切なSEO対策を打つ必要があります。本記事ではクローラーとは何かを検索エンジンのクローラーへフォーカスを当てて解説します。

＞＞解説付き！基礎SEO対策チェックリストをダウンロードする

検索エンジンのクローラーとは

検索エンジンのクローラーとは、インターネット上のWebページを自動的に巡回して情報を収集するプログラムのこと。

クローラーはWebページに含まれるリンクを辿り、次々と新しいWebページを発見してその内容をデータベースに保存します。これを検索エンジンのインデックスと呼び、インデックスされたページが検索結果に表示されます。

クローラーの種類

クローラーには様々な種類があります。代表的なものは以下の通り。

• Googlebot：Googleのクローラー
• Bingbot：Bingのクローラー
• Yahoo! Slurp：Yahoo!のクローラー
• Baiduspider：Baiduのクローラー
• YandexBot：Yandexのクローラー

 

これらのクローラーはそれぞれの検索エンジンが提供するウェブマスターツールやAPIを通じて、その動作や設定を確認したり変更したりできます。

また、Webページ内のメタタグやrobots.txtファイルを利用してクローラーへ指示を出すことも可能です。

検索エンジンの仕組み

検索エンジンがWebサイトを検索結果（SERPs）に表示する仕組みは以下の通り。

３つのステップを経てWebページが表示されます。

1. 検索エンジンロボットによるクロール
2. インデックス登録
3. 検索結果への表示

 

つまり、検索エンジンがWebページを検索結果へ表示する最初のステップがクロールということ。SEOにおいて検索エンジンのクローラーを呼び込むことの重要性はもはや説明するまでもありませんね。

Googleのクローラーを呼び込むSEO対策

Googleでの検索上位化を狙う上で、Googleのクローラーを呼び込む対策は欠かせません。

Googleのクローラーを呼び込むためには以下のSEO対策を行うことが効果的。

• サイトマップを作成する
• インデックス登録をリクエストする
• 内部リンクを設定する
• 質の高いコンテンツを定期的に作成する
• 古いコンテンツを定期的にメンテナンスする
• 適切にクローラーを制御する

サイトマップを作成する

クローラーを呼び込む対策として作成するサイトマップとはXMLサイトマップのこと。

XMLサイトマップとは、Webサイト内の全てのページのURLや更新日時や優先度などを記載したXMLファイルです。

GoogleのクローラーにWebサイト内の構造や内容を伝えることができるXMLサイトマップ、これを認識してもらうためにはGoogleサーチコンソールからの送信が有効です。

インデックス登録をリクエストする

GoogleサーチコンソールからGoogleに対してWebページをインデックス登録するようにリクエストができます。

インデックス登録をリクエストすると必ずインデックスされるわけではありません。しかし、GoogleのクローラーをWebページへ呼び込む上で有効な施策の一つ。

内部リンクを設定する

内部リンクとは同じWebサイト内の別のページへのリンクのこと。

内部リンクを設定することで、GoogleのクローラーをWebサイト内のページを効率的に巡回させることができます。

また、内部リンクはユーザーにとっても有用な情報を提供してより多くのページを閲覧してもらい、サイト内での滞在時間を増やす効果もあるため、内部リンクはSEO対策にも有効です。

質の高いコンテンツを定期的に作成する

ユーザーの検索ニーズに応える質の高いコンテンツを定期的に作成することで、GoogleのクローラーにWebサイトの更新性が伝わります。

また、爆発的に増えるWebページを効率よくクロールするために、クローラーは優先順位を付けています。優先順位が高いサイトやページには頻繁にクロールする一方で、優先順位が低いと数週間、数ヶ月と長期に渡ってクロールしてもらえません。

質の高いコンテンツはユーザーにとっても価値があり、サイト全体の質が高いと判断されると優先度を上げてクロールしてもらえるようになります。

古いコンテンツを定期的にメンテナンスする

Googleの検索システムの一つであるフレッシュネスシステム。

一般的には古いコンテンツよりも新しいコンテンツを高く評価するアルゴリズムです。

「検索クエリにふさわしい鮮度」を評価するさまざまなシステムを導入しています。

（出典：Google 検索ランキング システムのご紹介 | Google 検索セントラル）

 

普遍的な情報のように必ずしも更新日の古さがマイナス要素とならないものもあるでしょう。

それでも多くのWebサイトにおいて古いコンテンツを定期的にメンテナスすることは、ユーザーに対して新しい情報を提供できるだけでなく、クローラー促進においても効果があると考えられます。

適切にクローラーを制御する

Webページごとにクローラーに対して巡回やインデックスの許可・禁止などの指示を出すことを「クローラーを制御する」と言います。

クローラーを制御することでGoogleのクローラーにWebサイト内の重要なページへ優先的に巡回してもらえたり、不要なページのクロールやインデックスを防止できたり、クロールの最適化は必須のSEO対策。

特に、不要なページのクロールによってサイトの評価が下がったり、意図せずページがインデックスされるとSEOの観点からもマイナスのため、適切にクローラーを制御することは重要なSEO対策です。

Googleのクローラー巡回を確認する方法

ここではGoogleのクローラー巡回を確認する方法を２つご紹介します。

Googleサーチコンソールを確認する

GoogleサーチコンソールではWebページがインデックスされているかどうか、インデックスされていない理由などを確認できます。

「ページ」メニューを開き、「クロール済み - インデックス未登録」や「検出 – インデックス未登録」のようなステータスからクロール状況を確認してみましょう。

インデックスされているページは過去にクロールされていることが分かり、インデックスされていないページはクロールされていないのか、クロールされた上でインデックスされなかったのかを切り分けて判断します。

 

特定ページの最新の状況を調査したい時は「URL検査」からURLを入力するとインデックス状況を確認できる他、「前回のクロール」の項目ではインデックス登録済みのURLへ最後にクローラーが巡回した日時を確認できます。

 

Googleサーチコンソールは、Googleのクローラー巡回を確認するだけでなく、SEO対策となる改善箇所の発見にも活用できます。

定期的にチェックしてサイトの状態をモニタリングしておきましょう。

URL Inspection APIを活用する

2022年1月31日にGoogleが公開した「URL Inspection API」。

このAPIを利用すると、URL単位でクローラーが巡回した日時やインデックス状況、クローラーが判断した正規URLなどの情報取得ができます。

クロール状況のモニタリングに役立つためぜひ活用を検討してみてください。

検索エンジンのクローラーまとめ

SEO担当者なら理解しておきたい検索エンジンのクローラーについて解説しました。

どれだけ質の高いWebサイトを運営していてもクローラーに伝わらないとSEO集客が出来ないため、クロール最適化に取り組んでSEOで成果を上げていきましょう。

SEO対策に取り組む場合は「基礎SEO対策チェックリスト」に記載の基本項目も参考にしてみてください。