クローラーとは? 検索エンジンの仕組みを解説します！

「SEO対策」という言葉を聞いたことはあっても、「クローリング」もしくは「クローラー」という言葉は聞いたことがないかもしれません。

SEO対策とは、検索サイトでユーザーがあるキーワードを検索したときに、自社のサイトがより上位に表示されるための工夫。 クローラーとは、検索エンジンが検索の順位を決めるための要素を、サイトから収集してくるロボットのことです。

SEO対策には、このクローラーが正しく自社サイトの情報を収集してくれるようにしておく対策も含まれるため、SEO対策を正しく理解するためにはクローラーについても知っておく必要があります。今回は検索エンジンの仕組みと、クローラーについてご紹介していきます。

検索エンジンの仕組み

「SEO対策なんて、Web担当者に任せておけばいい」なんて思っていませんか？今や自社サイトと検索エンジンは、ビジネスになくてはならない要素。言葉の概要すらわからないとなると、打ち合わせに加わることもできません。まずは検索エンジンの仕組みから簡単に確認しておきましょう。

検索エンジン（Search Engine）とは、GoogleやYahooに代表されるインターネット上のコンテンツを検索するサービスの総称です。インターネットの黎明期には、人の手でサイトの情報を集めカテゴリーごとに分類する「ディレクトリ型」が主流でしたが、現在では「ロボット型」と呼ばれる方式に進化してきました。

ロボット型検索エンジンは、3つのプログラムで構成されています。

・Webサイトの情報（HTMLや画像など）を集めてデータベース化する、ロボットや クローラーと呼ばれるプログラム
・クローラーが収集してきた情報を分析し、評価（ランクづけ）するプログラム
・検索サイトで入力されたキーワードに対して、評価に基づき検索結果（検索順位）を表示 するプログラム

上記の各プログラムが連動して動き、検索結果をユーザーに示すのが検索エンジンです。

クローラーとは？

前述のとおり、クローラーとは検索エンジンが検索の順位を決めるための要素を、サイトを巡回して収集してくるロボット(bot)のことです。這い回るという意味の【crawl】から、このように呼ばれています。

このクローラーは検索エンジンごとに種類が違います。たとえばGoogleならGooglebot、BingならBingbot、中国のBaidu（百度）はBaiduspiderと呼ばれるクローラーを使っています。その他にもSEOツールのクローラーや、AIアシスタント専用のクローラー（AppleBot）などが存在します。

中でもGoogleは検索エンジンのシェアが世界でトップ、日本でのシェアは80％以上にもなります。Yahoo JapanもGoogleの検索エンジンを使用しており、クローラーに対する各種施策はGooglebot向けであることがほとんどです。

クローラーは、既にデータベース化されているWebサイトからリンクをたどって自動的に移動（クローリング）していきます。移動先ではページの解析（パーシング）を行い、以下のようなファイルを収集し、検索アルゴリズムが扱いやすいデータに変換して、結果をデータベースに登録していきます。

・HTML
・テキストファイル
・CSSファイル
・JavaScriptファイル
・画像
・PDF

クローラーが一度も巡回に来ないで上記のファイルが収集されないサイトは、当然のことながら検索エンジンに表示されることはありません。このような場合は、いくらSEO対策を行ったとしても無駄になってしまいます。SEO対策の第一歩は、クローラーに検索されやすいサイトを作ることなのです。

クローラーに検索されやすくするためには

クローラーに検索されやすくすることを、クローラビリティの改善といいます。

一般的には以下のような対策をすることで、クローラビリティは改善するといわれています。ここでは、Googleの場合を例に説明していきます。

・Googleにクロールをリクエストする
　Googleの場合、クローリングをリクエストすることができます。まずはこれが 一番確実なクローラビリティの改善策です。具体的には、Google Search Consoleと いう無料ツールから「URL検査」という機能を使ってリクエストします。サイトを 新規に作成したり、コンテンツを更新したときなどに、速やかにクローリングされます。

・URLの正規化（重複コンテンツの見直し）
　WebサイトのURLには、「www.」が含まれているものと、含まれていないものが 存在します。同じページに2つのURLがあると重複コン　　 テンツと見なされ、クロー ルの頻度が減ってしまいます。複数あるURLは一つに統一しましょう。

・URLの階層は3段までにする
　すべてのページをトップページから2クリックで行けるように設計します。Googlebot は階層の浅いページから優先的にクロールを実行するので、この施策によりすべて のページがクロールされやすくなります。

・リンクはテキストで設定する
　画像をクリックすることでリンクさせる場合も多いと思いますが、テキストでリン クさせた方がクローラビリティは向上します。

ほかにもクローラビリティの改善策は多くありますが、Googleをはじめとするクローラーのアルゴリズムは不定期に変更されています。昔の改善策がそのまま現在も通用するわけではないので、クローラビリティの改善はSEOを専門とする会社と定期的に相談しながら実施していきましょう。

まとめ

◆クローラーとは、検索エンジンが検索の順位を決めるための要素を、サイトから収集してくるロボットのこと

◆検索エンジン（Search Engine）とは、GoogleやYahooに代表されるインターネット上のコンテンツを検索するサービスの総称

◆検索エンジンは、かつては人の手で登録を行う「ディレクトリ型」が主流であったが、現在ではクローラーを使う「ロボット型」が主流。

◆ロボット型検索エンジンは、Webサイトの情報をクローラーで収集しデータベース化する。検索順位は、その情報をランクづけするプログラムによって決められる。

◆クローラーに検索されやすくするクローラビリティの改善には複数の方法があるが、クローラーのアルゴリズムは不定期に変更されている。SEO専門会社と相談しながら、継続的なクローラビリティの改善が望ましい。