Googleクローラーのクロールの仕方

この記事では、検索順位などを決めるGoogleクローラーのクロールの仕方やクローラーの種類について紹介します。

目次

1. はじめに
2. クロールの仕方
3. まとめ

１.はじめに

クローラーとはネット上にあるサイトを見つけて検索結果に表示するために、
検索エンジンのロボットがそれぞれのサイトを理解する（調べる）ロボットをクローラーと呼びます。

この記事では、一番シェアの高いGoogleのクローラーについて紹介します。

「Google の使命は、世界中の情報を整理し、世界中の人がアクセスできて使えるようにすることです。」
とうたっていることからもクローラーの役割は重要です。

２.クロールの仕方

はじめてサイトを認識するには、ブラウザのリンクをたどって自動的にクロールする方法とSerchConsoleなどからクローラーの巡回をリクエストする方法があります。

結果から考えるといつかはクロールされてインデックス登録されるのですが、投稿などでページを追加した場合どのように新しいページを見つけるのでしょうか？

見つけ方は、大きく2パターン

• 元々認識されているページのリンクを辿っていく
• サイトマップから送信されたURLの情報を参照する

のパターンがあります。

この二つから考えるとリンク経由でたどり着けるページは、いつかはクロールされてインデックス登録されるのですが、

リンクで辿れない孤立したページに関しては、サイトマップの設置を検討する必要があります。

Googleのクローラーの巡回の仕方は、認識されたリンク及びサイトマップからの情報を合わせて
巡回リストを巡回順序を算出しリストの順序に従って巡回すると言われています。

WordPressプラグインでサイトマップを設置する方法

WordPressユーザーの場合サイトマップをGoogleに伝える便利なプラグインが複数存在します。

※今後bingがシェアを拡大するとbing用のものが必要になる可能性があります。

ここではプラグイン「XML Sitemap Generator for Google」を紹介します。

WordPressの管理画面で、XML Sitemap Generator for Googleのプラグインをインストール後、

画面左の「設定」⇒「SML-Sitemap」を選択します。
すると以下のような画面が出ますので

httpから始まるURLをコピーしておきます。

次にGoogle Search Consoleにログインし
左の「サイトマップ」をクリックして
先ほどコピーしたURLを以下の画面で登録して完了です。

Googleクローラーの種類（上級者向け）

↓Google公式リンク↓

https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ja

上のリンクからクローラーの種類は大きく3パターンあるようです。

• 一般的なクローラー
• 特殊なケース用のクローラー
• ユーザー トリガー フェッチャー

普段意識するクローラーは上の「一般的なクローラー」ですが、その中でもパソコン用、スマートフォン用など9種類ほどあるようです。

過去にパソコン用クローラーがなくなるという噂も聞きましたが、現在では、パソコン用も継続するようになったそうです。

3.まとめ

ホームページの新しい投稿がなかなかインデックスされないなど問題を抱えている方は、サーチコンソールから直接リクエストする方法やサイトマップを活用する方法など検討されてはいかがでしょうか。

以上検索エンジンのクローラーについて紹介しました。