「送信されたURLのクロールに問題があります」の原因は何？調査方法をご紹介

「エラーの状況がよくわからない……。」

Google Search Consoleのカバレッジレポートでエラーが出ていても、その内容がわかりづらいケースがありますよね。問題が起きていると知らせてくれる便利なツールですが、SEO初心者の人にとっては難しい内容も。

そんな分かりづらいエラーの中から、今回は「送信されたURLのクロールに問題があります」について解説していきます。

＞＞Web担当者のための「Google Search Console入門書」をダウンロードする

「送信されたURLのクロールに問題があります」とは？

Google Search Consoleでエラーとなっているページはインデックス登録されません。つまりこのままでは対象ページが検索結果に一切表示されないということです。
もし対象ページが検索流入を増やしたい重要なページであれば、いち早く解決させたいですね。

では、この「送信されたURLのクロールに問題があります」とはどういう状況なのでしょうか？

さまざまな原因が考えられる「送信されたURLのクロールに問題があります」の状況

カバレッジレポートで確認できるエラーの多くは、具体的に何が起きているかが明記されているため、内容を紐解くと原因と対処法が分かります。

しかし、このケースでは”問題があります”としか明示されていないため、ここから読み取れることは「何らかの要因でGoogleのクローラーがページを正しく読めていない」という事実のみ。ここからは仮説を立てて現状調査を行う必要があります。

では具体的にどのような原因の可能性があるのでしょうか？

「送信されたURLのクロールに問題があります」の対処法

ここからはクローラーがページを読み取れない状況を引き起こしている原因を調べる方法と対処法を見ていきましょう。

1.対象URLを確認する

Google Search Consoleの「インデックス」＞「カバレッジ」の画面下部にある「送信されたURLのクロールに問題があります」の行をクリックし、問題が起きているURLを確認します。
対象URLが特定のディレクトリに偏っていたり、何か共通の変更を行ったURLに集中していたり、共通事項があればそこが原因の可能性があります。

2.ステータスコードを確認する

対象ページが正しく表示されるステータスコード「200 OK」となっているかを確認します。
ブラウザの開発者モードからも確認できますが、ステータスをチェックできる「HTTPステータスコードチェッカー」のようなツールを使う方法もあります。URLを入力して解析ボタンを押すだけで確認できるので簡単ですね。

「200 OK」以外の結果が出る場合はクローラーだけでなく、ユーザーもページを閲覧できていないためすぐに対処しましょう。

3.noindexが記載されていないか確認する

対象ページにnoindexタグが記載されているとクローラーはページを読み取りできませんので、noindexタグが誤って記載されていないか確認します。

ページのHTMLソースを確認するか、Google Search Consoleの「URL検査」を利用してもOK。noindexタグが記載されているページを検査すると、「noindexタグによって除外されました」と表示されます。

4.robots.txtによるクローラー制御を確認する

意図せずrobots.txtでクローラーをブロックしていないかを確認しましょう。robots.txtについては以下の記事で解説しています。

5.リッチリザルトテストを実施する

Googleが提供する「リッチリザルトテスト」で調べると、読み込みエラーが発生した際の詳細レポートを確認できます。

6.Google Search ConsoleのURL検査を実施する

対象ページの状況を把握するためにURL検査を確認しましょう。「送信されたURLのクロールに問題があります」以外にもエラーや警告が表示される場合は、それらを踏まえてクローラーがページを読めていない原因を探ります。

また、クローラーが偶然タイミング悪くページを読めなかっただけで、URL検査を行うと問題なく読み取れるケースもあります。

7.ログデータを解析する

ここまでの調査をして全く問題が見つからず、原因が分からない場合はログデータを解析することで解決する可能性があります。クローラーが対象ページへアクセスした際に何が起きているかが分かれば原因と対策が分かります。

しかし、Web担当者自身での解析ができない場合は専門の会社へ依頼するなどの手間やコストがかかるため、上記手順を先にしっかりと行うことをおすすめします。

まとめ

以上、「送信されたURLのクロールに問題があります」の原因を調べる方法についてご紹介しました。

Google Search Consoleのカバレッジレポートで具体的な状況を記載できないのは、クロールに問題がある原因が多岐にわたるからだと考えられます。重要なページにクローラーが巡回できない状況は解決するべきですので、原因を調べて適切な対処を行いましょう。

 

クロールの問題解消をはじめ、Google Search Consoleのエラーに対処するなどの内部SEO対策は、集客の土台となるWebサイトの効果的なSEO強化施策です。

「Google Search Console入門書」では、はじめてGoogle Search Consoleを使う方向けの解説に無料で公開しています。ぜひ資料を参考にサイト強化を図りましょう。

その他のカバレッジレポート関連記事