SEOにおけるクローキングを理解する方法
自分のサイトのランキングが下がったり、検索結果に奇妙な表示が出たりすると、かなりイライラします。中には、SEOの観点から見ると少々ずる賢く、少し怪しいクローキングが実際に行われている場合もあります。クローキングとは、サーバーが検索エンジンに表示するコンテンツと、訪問者が実際に見ているコンテンツが異なることです。無害に思えるかもしれませんが、検索エンジンを騙してランキングを良くするために使われることが多く、ユーザーにとってもサイトの信頼性にとっても不公平です。
ウェブサイトのクローキングを検出して修正する方法
方法1：Google Search Consoleを使用してビューを比較する
Google Search Console（GSC）は、クローキングの問題をある程度特定するのに役立ちます。URL検査ツールを使って、Googlebotが見ているものとブラウザで表示されているものを確認しましょう。両者が大きく異なる場合は、危険信号かもしれません。URL検査ツールにアクセスし、URLを入力して「カバレッジ」または「Fetch as Google」セクションを確認してください。
- ブラウザを使用して Web ページにアクセスし、内容をメモします。
- GSC では、同じ URL を検査のために送信し、Google が取得したスナップショットを確認します。
- Google が認識している内容がユーザーの表示と異なる場合、特にホームページに異なるコンテンツが表示される場合は、クローキングが行われている可能性があります。
理由：この簡単な比較は、Googleが訪問者とは異なるバージョンを提供しているかどうかを把握するのに役立ちます。不一致がある場合は、Googleのアルゴリズムが公平にランク付けしていない可能性があります。
方法2: サーバーログを確認し、サーバー側テストを実装する
もう一つの方法は、サーバーがユーザーエージェントに基づいて配信するものを比較することです。クローキングは、ユーザーエージェント文字列を検出して異なるコンテンツを提供することがあります。これを確認するには、サーバーのログを確認するか、ローカルテストを設定してください。例えば、curlターミナルで次のコマンドを使用します。
curl -A "Googlebot/2.1 (+http://www.google.com/bot.html)" https://yourwebsite.comこれを、次のような通常のブラウザ ユーザー エージェントによるリクエストと比較します。
curl -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" https://yourwebsite.comレスポンスが異なる場合（例えば、一方が簡略化されたページ、あるいはエラーページを表示するなど）、クローキングが行われている可能性が高いです。設定によっては、ウェブサーバーやCMSがユーザーエージェント文字列に基づいて異なるコンテンツを提供することがあるため、そのようなカスタムスクリプトやCMSプラグインがないか確認してください。
方法3: 外部クローキング検出ツールを使用する
ページを様々な視点からスキャンし、コンテンツの変化を教えてくれるようなオンラインツールがいくつかあります。Google Search Simulatorのようなツールや、サイトを間接的にクロールすることで、違いが明らかになることもあります。場合によっては、異なる場所やIPアドレスからテストをいくつか実施し、訪問者の所在地やその他の要因によってコンテンツが変化するかどうかを確認するのも効果的です。
覚えておいてください：クローキングは必ずしも悪意のあるものではありません。地域ターゲティングやデバイス固有のコンテンツが関係している場合もあります。重要なのは、検索ランキングを操作するための巧妙な差異は、大抵の場合、悪質だということです。
クローキングの修正または防止
クローキングを発見した場合（意図的か否かに関わらず）、通常はスクリプト、リダイレクト、またはユーザーエージェントやIPアドレスに基づいて異なるコンテンツを提供するサーバー設定が原因です。修正するには、サーバーまたはCMSがボットを検出して異なるバージョンを提供していないことを確認してください。一般的な修正方法は次のとおりです。
- 特に PHP、Node.js などを使用している場合は、ヘッダーに基づいて条件付きコンテンツを読み込むためにサーバー側のコードを確認してください。
- ユーザーエージェントまたはリファラーに基づいて異なるページを提供する可能性のあるリダイレクトを削除または変更します。
- robots.txtファイルを確認して、リソースがブロックされたり、誤ってコンテンツが隠れたりしていないことを確認します。
- クロール防止スクリプトや地域制限を使用している場合は、予期せず異なるコンテンツが表示されないように、それらを無効にするか調整することを検討してください。
また、サイトのコンテンツが様々なアクセス方法で一貫していることを確認してください。つまり、隠れたトリックや、IPアドレスやデバイスの違いだけで異なるコンテンツを表示しないということです。そうすることで、検索エンジンはページが実際に何を提供しているかを正確に把握できます。
まとめ
- Google の見解と自分の見解を比較して、矛盾点を見つけます。
- curl コマンドを使用して、さまざまなユーザー エージェント ヘッダーに対するサーバー応答をテストします。
- 外部ツールを使用してサイトをスキャンし、コンテンツのバリエーションを見つけます。
- ユーザーエージェントまたは IP に基づいて異なるコンテンツを提供している可能性のあるサーバーまたは CMS 構成を確認します。
まとめ
クローキングの追跡は、特に複雑なサイトでは少々面倒ですが、検索エンジンがどのように認識しているかを把握できれば、戦いの半分は楽になります。コンテンツに一貫性がないことが判明した場合、修正には通常、サーバー側のスクリプトや設定の調整が必要になります。最終的には、ランキングと実際のユーザーの両方にとって、クリーンで誠実なコンテンツ配信が最善です。この方法が、潜在的な問題の解決に役立つことを願っています。