Semalt:Googleはどのように(そしてなぜ)Webサイトのクロールを停止するのかをどのようにして知るのですか?

Googleスパイダーは、ウェブサイトをマーケティングする際のSEOキャンペーン自体と同じくらい重要です。彼らはウェブサイトをクロールし、見つけることができるすべてのページからコンテンツにインデックスを付けます。また、サイトの更新されたページのインデックスを再作成します。これは、いくつかの要因に基づいて定期的に行われます。これには、PageRank、クロールの制約、ページにあるリンクが含まれますが、これらに限定されません。 Googleスパイダーがサイトをクロールする回数は、これらの要因の1つ以上に依存します。

ウェブサイトは、訪問者とGoogleクロールスパイダーが簡単にナビゲートできる必要があります。これが、クロールに適したWebサイトを持つことが、SEOキャンペーンのさらなる利点になる理由です。そうしないと、Googleがコンテンツにアクセスできなくなり、結果として、 検索エンジンのランキングページでのサイトのランキングが低下します。

Semaltの Customer Success ManagerであるRoss Barberは、Googleがサイトのクロールを遅らせるか停止するかの決定に影響を与えるために依存する最も重要なインデックス作成要素の2つは、接続時間とHTTPステータスコードであると定義しています。その他には、否認コマンド、「フォローしない」タグ、robots.txtなどがあります。

接続時間とHTTPステータスコード

接続時間係数は、GoogleクロールボットがサイトサーバーとWebページに到達するのにかかる時間に関連しています。速度は、優れたユーザーエクスペリエンスを非常に示すものであるため、Googleは非常に高く評価しています。 Webページの速度が最適化されていないと、サイトのランクが低くなります。 GoogleスパイダーはWebサイトへのアクセスを試みます。接続を作成するのにかかる時間が長い場合、バックオフしてクロールする頻度が低くなります。さらに、Googleが現在の速度でWebサイトをインデックスに登録するようにプッシュすると、サーバーの速度が大幅に低下する可能性があるため、ユーザーエクスペリエンスが中断される可能性があります。

2番目のインデックス作成要素は、サーバーがサイトをクロールする要求にどの程度適切に応答するかを示すHTTPステータスコードです。ステータスコードが5xxの範囲内にある場合、Googleは、現在のサイトをクロールする速度を停止または遅延させる必要があります。 5xxの範囲内のものはすべて、サーバーで発生する可能性のある問題と、要求への応答に問題がある可能性があることを示しています。追加の問題を引き起こすリスクがあるため、サーバーにアクセスしやすい場合、Googleボットは回避してインデックス作成を実行します。

Googleはいつサイトのクロールを再開しますか?

Googleはユーザーに最高のエクスペリエンスを提供することを信じており、SEO要素を最適化するサイトをこれらの目標に向けて高くランク付けします。ただし、ウェブサイトで上記の問題が発生している場合は、後でGooglebotにクロールを試みるように指示します。問題が解決しない場合、所有者はGoogleにコンテンツを調べて、検索結果にふさわしいランクを割り当てる絶好の機会を失います。これらの問題に加えて、スパムの兆候があると、サイトは検索結果に表示されなくなります。

Googleが使用する他のすべてのアルゴリズムと同様に、スパイダーも自動です。これらは、特定のパラメーターに基づいてコンテンツを検索、クロール、および索引付けするように開発されています。サイトが特定のベストプラクティスに準拠していない場合、インデックス作成は行われません。他にも多くの要因が関係していますが、サイトの接続時間とHTTPステータスコードには細心の注意を払ってください。