Blog
トップの写真
更新日時:2023.06.30
カテゴリー:blog

Googleクローラーのクロールの仕方

Googleクローラー

この記事では、検索順位などを決めるGoogleクローラーのクロールの仕方やクローラーの種類について紹介します。

目次

  1. はじめに
  2. クロールの仕方
  3. まとめ

1.はじめに

クローラーとはネット上にあるサイトを見つけて検索結果に表示するために、
検索エンジンのロボットがそれぞれのサイトを理解する(調べる)ロボットをクローラーと呼びます。

この記事では、一番シェアの高いGoogleのクローラーについて紹介します。

Google の使命は、世界中の情報を整理し、世界中の人がアクセスできて使えるようにすることです。」
とうたっていることからもクローラーの役割は重要です。

2.クロールの仕方

Googleクローラー

はじめてサイトを認識するには、ブラウザのリンクをたどって自動的にクロールする方法とSerchConsoleなどからクローラーの巡回をリクエストする方法があります。

結果から考えるといつかはクロールされてインデックス登録されるのですが、投稿などでページを追加した場合どのように新しいページを見つけるのでしょうか?

見つけ方は、大きく2パターン

  • 元々認識されているページのリンクを辿っていく
  • サイトマップから送信されたURLの情報を参照する

のパターンがあります。

この二つから考えるとリンク経由でたどり着けるページは、いつかはクロールされてインデックス登録されるのですが、

リンクで辿れない孤立したページに関しては、サイトマップの設置を検討する必要があります

Googleのクローラーの巡回の仕方は、認識されたリンク及びサイトマップからの情報を合わせて
巡回リストを巡回順序を算出しリストの順序に従って巡回すると言われています。

WordPressプラグインでサイトマップを設置する方法

予約システムWordpressプラグイン

WordPressユーザーの場合サイトマップをGoogleに伝える便利なプラグインが複数存在します。

※今後bingがシェアを拡大するとbing用のものが必要になる可能性があります。

ここではプラグイン「XML Sitemap Generator for Google」を紹介します。

XML Sitemap Generator for Google

WordPressの管理画面で、XML Sitemap Generator for Googleのプラグインをインストール後、

画面左の「設定」⇒「SML-Sitemap」を選択します。
すると以下のような画面が出ますので

sitemap.xml

httpから始まるURLをコピーしておきます。

次にGoogle Search Consoleにログインし
左の「サイトマップ」をクリックして
先ほどコピーしたURLを以下の画面で登録して完了です。

サイトマップの登録

Googleクローラーの種類(上級者向け)

↓Google公式リンク↓

https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers?hl=ja

上のリンクからクローラーの種類は大きく3パターンあるようです。

  • 一般的なクローラー
  • 特殊なケース用のクローラー
  • ユーザー トリガー フェッチャー

普段意識するクローラーは上の「一般的なクローラー」ですが、その中でもパソコン用、スマートフォン用など9種類ほどあるようです。

過去にパソコン用クローラーがなくなるという噂も聞きましたが、現在では、パソコン用も継続するようになったそうです。

3.まとめ

ホームページの新しい投稿がなかなかインデックスされないなど問題を抱えている方は、サーチコンソールから直接リクエストする方法やサイトマップを活用する方法など検討されてはいかがでしょうか。

以上検索エンジンのクローラーについて紹介しました。

水谷友彦

この記事を書いた人

株式会社ウェブロッサムの
代表:水谷友彦

中小企業のネット集客を
Web戦略からサポート

  • 専門知識のあるスタッフが
    一貫対応
  • お客様の事業に合った
    最適な専用ホームページをご提案
  • 直接対面形式で安心感のある
    コミュニケーション
  • ホームページ単体ではなく
    Web戦略からのご提案

✉まずはお気軽にご相談ください>>

#ホームページ制作 #ホームページ制作名古屋 #SEO対策

コメントは受け付けていません。