SEO対策で評価を高めるうえでも、robots.txtの適切な運用は大きな鍵となります。robots.txtを適切に使うことで、Webサイト内で優先的に評価してほしいページが評価されるようになるからです。
しかし、robots.txtがSEO対策として有効であることは知っているものの、実際にどのような役割を持っているのか、なぜSEO上で大切なのか詳しく理解していない人も多いのではないでしょうか。
本記事では、robots.txtの基本的な意味や設定方法、robots.txtに関する注意点まで網羅的に解説します。
自社のWebサイトを運用している人や、SEOを強化したWebメディアを運用したいと考えている人はぜひ参考にしてください。
目次
robots.txtとは？
robots.txtとは、Googleの検索エンジンに対して特定のコンテンツをクロールさせるかさせないかを指示出しするファイルで、Web上のコンテンツに対して実装するファイルであり、クローラーに対する制御を行えるものです。なお、クロールとはクローラーと呼ばれるGoogleの検索エンジンがWeb上のコンテンツを収集することです。
robots.txtを使用することによって、Googleのクローラーが回遊しなくなるため、そのほかの重要なコンテンツを中心にクロールさせられます。これによって、Webサイト内にある重要なコンテンツが、より早くSEO評価を受けることが実現するのです。
関連記事：クローラーとは? 検索エンジンの仕組みを解説します！
robots.txtとnoindexは何が違う？
robots.txtの役割は理解したものの、noindexとの違いが分からないという人もいることでしょう。ここからは、robotx.txtとnoindexの違いと使い分けのタイミングについて解説します。
robots.txtとnoindexを使い分けるタイミング
noindexとは、クローラーに対してインデックスしないように指示をするメタタグのことです。robots.txtは、クローラーに読み取られることそのものを制御するのに対して、noindexではクローラーにコンテンツの読み取りを行わせたうえで、検索結果に表示しないように指示をするものです。
そのため、robots.txtはWebサイト内にある特定のコンテンツに対するクロールを促すために使用します。一方でnoindexはクロールが行われるため、単に検索エンジンにインデックスされる必要がないコンテンツに対して実装します。
関連記事：SEOで重視されるオーソリティとは？調べる方法と高める方法を解説！
robots.txtのSEO効果
先述したように、robots.txtを使用することで使用されたWebコンテンツはクロールが行われない状態になります。これによって、その他のWebコンテンツが優先してクロールが行われるようになるのです。
そのため、Webサイト内の重要なコンテンツに対するクロールの頻度が相対的に高まり、SEO評価を受けるまでの期間を短くできます。
Webサイト運用を行ううえでは、重要視しているコンテンツはSEOにおける結果が早く出てほしいものです。重要なコンテンツを効率良くインデックスさせるためにも、不要なコンテンツにはrobots.txtを実装して、重要なコンテンツへのクロールを促すようにしましょう。
関連記事：SEOはオワコンか？SEOが今も有効な集客施策である理由を解説
robots.txtの種類（型）
robots.txtの種類（型）は、下記の4種類に分けられます。
● User-Agent
● Disallow
● Allow
● Sitemap
それぞれ順番に解説します。
User-Agent
User-Agentでは、robots.txtによってどのクローラーの動きを制御するのかを指定することが可能です。2022年11月現在において、Googleが代表的な検索エンジンではあるものの、Yahoo!やbingといった、その他の検索エンジンも使用されており、それぞれで異なるクローラーがあります。
たとえば、bingには認識してもらわずGoogleにのみ認識してほしいという場合は、このUser-Agentで設定を行うことで可能になります。
ただし、特定の検索エンジンに認識されないように設定することは滅多にないため、基本的にはすべての検索エンジンのクロールを制御することがほとんどです。
Disallow
Disallowとは、クローラーのアクセス制限を行うファイルを指定するものです。クロールしてほしくないファイルやディレクトリをDisallowで指定することによって、クロールがブロックされます。
一方で、Disallowが空欄になっている場合は、いずれのファイルやディレクトリに対してもクロールの制限を行わないことになるため、robots.txtを設定する際は必ず確認するようにしましょう。
Allow
Allowとは、Disallowと対照的にクロールを許可するページを指定するものです。AllowはDisallowよりも強い権限を持っているため、Disallowで指定したディレクトリの中に、クロールしてほしいページがあった場合、Disallow配下であったとしてもそのページのみクロールするようになります。
Sitemap
Sitemapは、「sitemap.xml」がどこにあるのかを、クローラーに伝える役割を果たします。「sitemap.xml」とは、クロールしてほしいURLのリストをまとめたxmlファイルのことであり、それぞれのURLの更新日時やクロールの重要度などを記載できるものです。クローラーはsitemap.xmlによって、クロールを行う優先度を決めています。
Sitemapを適切に記述しておけば、クローラーがsitemap.xmlを積極的に読み、効率の良いクロールを行ってもらえるため、必ず記述しておきましょう。
関連記事：クロール（クローリング）とは？意味やGoogleへのリクエスト方法、SEOとしての基礎を解説！
robots.txtはどのように記述する？
robots.txtは、上記の4つの種類を上から順番に記述し、指定していきます。WordPressの場合は、下記の型に沿ってコードを追記する形になるため、まずはこの形の記述方法を抑えておくことを推奨します。
User-agent: *
Disallow: /wp/wp-admin/
Allow: /wp/wp-admin/admin-ajax.php
Disallow: /directory1/
Sitemap: https://sample.jp/sample/sitemap.xml
上記のrobots.textの内容は下記のとおりです。
● すべてのクローラーを対象にして、directory1のページクロールを制御
● admin-ajax-phpを除くwp-admin配下のページクロールを制御
● 「sitemap.xml」は、「sample」ディレクトリの配下にある
関連記事：Alt属性（オルト属性）とは？正しい書き方とSEO対策への影響度合いを解説！
robots.txtが記述されているかの確認方法は？
robots.txtを記述したものの、適切に記述が行われ、機能しているかが気になってしまう人も多いことでしょう。robots.txtが適切に記述されているかどうかについては、Googleサーチコンソールから確認できます。Googleサーチコンソールから、robots.txtを確認する手順は下記のとおりです。
● robots.txtテスターを開く
● 画面内の大きな記述部分に、robots.txtに記述した内容をペーストする
● クロールが制御されるべきページのディレクトリ名を、下部の入力欄に記載する
● 「テスト」をクリックする
適切にrobots.txtが記述されている場合、Disallowで記述した部分が赤く表示されます。
関連記事：Googleペナルティとは？集客施策の観点から原因と解決方法を解説します
robots.txtに関する2つの注意点
robots.txtを使用する際には、下記の2つの注意点を押さえたうえで使用しましょう。
● インデックスされていれば検索結果には残る
● ユーザーは記事コンテンツを閲覧できる
それぞれ順番に解説します。
インデックスされていれば検索結果には残る
先述したように、robots.txtはnoindexと機能が異なるものの、混同して捉えてしまっている人は多くいます。実際に、robots.txtを実装すると、検索結果に表示されなくなると考えている人もいることでしょう。
結論、それは誤りであり、robots.txtで指定していたとしても、すでにインデックスされている場合は引き続き検索結果に残り続けます。理由として、robots.txtはクロールを制御するものであり、インデックスされているコンテンツをnoindexにするものではないからです。クロールされないだけであって、robots.txtで指定される前の評価は残り続け、継続的にインデックスも行われます。
そのため、インデックスされたくないコンテンツがある場合は、robots.txtではなくnoindexを使用しましょう。
ユーザーは記事コンテンツを閲覧できる
robots.txtに関する勘違いのひとつに、ユーザーのコンテンツ閲覧をブロックできるというものもありますが、これも大きな誤りです。robots.txtは、クローラーのアクセスをブロックするものであって、ユーザーのアクセスをブロックするものではありません。
そのため、URLからrobots.txtに記述したページに遷移することは問題なく可能なのです。そのため、会員向けの限定コンテンツや、有料ページなどを運用する際は、robots.txtを使用するだけではなく、必ず別の手法でセキュリティを担保しましょう。
関連記事：コンテンツの正しい意味合いを理解しましょう！良質なコンテンツとは何か
まとめ
本記事では、robots.txtの概要やSEOにおける効果、種類などを網羅的に解説しました。robots.txtを適切に使用することは、SEO上においても非常に重要であるため、Webメディアを伸ばしたい場合には欠かせません。
また、robots.txtを適切に使用できれば、優先的に重要なコンテンツがクロールされて評価を受け、インデックスされます。結果的にWebからの集客に大きな好影響を与えるでしょう。
ぜひ本記事を参考に、robots.txtに関するおさらいを行ったうえで、適切な運用を心がけてみてはいかがでしょうか。
