robots.txtでSEO対策!活用方法とエラーチェックの方法

  • このエントリーをはてなブックマークに追加
  • LINEで送る
robots-txt-ai

SEO対策といえば、コンテンツの充実や被リンクの獲得を思い浮かべる人が多いと思います。

しかし、上位表示されているサイトともなれば、コンテンツが充実しており、被リンクもあるサイトばかりになります。

その中でもさらに上位表示されるためには、他にもすべきSEO対策がたくさんあります。そのうちの一つが

『robots.txtの設置』

です。

今回はSEO対策の中でもrobots.txtの設置に関して、実例とエラーチェックの方法を交えながら解説していきます。

robots.txtとは?

robots.txtとは?

robots.txtは、クローラーを制御するためのファイルです。

検索エンジンは、クローラーと呼ばれるbot(自動で処理を行うプログラム)を使い、各サイトの内容を確認しています。

クローラーには「このサイトはSEOについて書かれている」「専門性の高いサイトだ」といった情報を収集する役目があり、クローラーから得たこれらの情報をもとに、検索エンジンは検索順位を決定します。

しかし、内容の薄いページや、更新する予定のない中途半端なページ、検索エンジンに登録してほしくないページがある場合、そのページがサイト全体のマイナス評価につながる場合があります。

サイトを運営しているときに『実質のないコンテンツ』といった警告をGoogleから受けたことはありませんか?
低品質なコンテンツがサイトに存在している場合、ペナルティを受けることもあるのです。

そんな時には、そのページをクロールしないようにクローラーに指示する必要があります。

例えば『ログインページ』『ECサイトの決済ページ』『会員専用ページ』などクロールしてほしくないページを指示し、クローラーを制御する為にrobots.txtを使います。

robots.txtとSEOの関係

robots.txtとSEOの関係

robots.txtを設置することで、クロールしてほしいページにクローラーを呼ぶことができます。

その結果、SEO対策の効果をすぐに反映させたり、新たなページを作成した際に早くindexさせたりすることができます。

クローラーがサイトを確認する際、どの程度ページを確認するかがサイトごとに決まっています。

例えば、更新頻度が低く、サイトの規模も大きくないサイトの場合は、クローラーが来たとしてもすぐに去ってしまうでしょう。

ページ数が多く被リンクもついている大規模サイトの場合、クローラーは前者のサイトよりも多くのページを確認します。

しかし、どちらの場合も、クローラーがすべてのページを確認するとは限りません。

robots.txtを設置し、クロールしてほしくないページを設定することで、結果的にクロールしてほしいページにクローラーを呼ぶことが可能なのです。

ただし、クロール回数を増やしたことが直接SEO対策になるわけではありません。

1日に1回のクロールだったとしても、100回クロールされたとしても、SEO効果は変わりません。
つまり、いくらrobots.txtを設置しようとも、質の良いコンテンツが伴っていなければ意味がないのです。

あくまで、検索エンジンにサイトの更新が伝わるスピードが早くなるだけだということに注意しましょう。

サイトの被リンクやindex数を調べるには『【2017年最新版】無料でSEO診断ができる無料ツール5選』の「1.SEOアクセス解析ツール・バーサス」参照すると簡単に調べられます。

robots.txtの設置方法

設置方法

『robots.txt』のファイルを作り、それをサイトの第一階層にアップロードするだけで設置完了です。

robots.txtに書く事は次の4点です。

1.User-agent

対象となるクローラーの種類を指定します。
例えば、Googlebotを指定したい場合は

User-agent: Googlebot

すべてのクローラーを設定したい場合は

User-agent:*

と入力します。

2.Disallow

クローラーの訪問をブロックするページを指定します。

サイト全体をブロックしたいのであれば

Disallow: /

WP(ワードプレス)のログインページをブロックしたいのであれば

Disallow: /wp-admin/

と入力します。

3.Allow

ブロックしないページを指定します。
基本的にはすべてのページがクロール可能となっているため、特に指定する必要はありません。
しかし、Disallowで指定したディレクトリの中でも、クロールしてほしいページがある場合はAllowを使います。

4.Sitemap

Sitemapの場所を指示します。
サイト全体のクロールを促し、インデックスを早めることができます。

robots.txtを設置した実例とエラーの確認方法

robots.txtを設置した実例とエラーの確認方法

『Google Search Console』を使うことで、robots.txtにエラーが無いかを確認できます。

上図では、次のようなrobots.txtを設置しています。

User-agent:*

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: (サイトURL)/sitemap.xml

ECサイトの場合は決算画面、会員サイトであれば、会員限定ページなどをDisallowに含めることになるでしょう。

robots.txtを設置した後は、エラーチェックを行いましょう。

Google Search Consoleのメニュー『クロール』『robots.txtテスター』でエラーチェックを行うことができます。

画面下にURLを入力し『テスト』ボタンを押すだけで、そのページが確実にブロックされているかどうかを確認することができます。

robotstxtブロック済み

もしもページがブロックされている場合は、ブロック指定している箇所が赤く表示され、『テスト』ボタンが『ブロック済み』に変わります。

まとめ

robots.txtは直接SEO対策と関係があるわけではありません。

しかし、robots.txtをうまく使うことにより、SEO対策の結果を促進したり、新規記事のindexを早めたりすることができるため、設置しておいて損はありません。

被リンクや質の高いコンテンツはもちろん必要です。そのサポートとしてrobots.txtの設置は非常に効果的だといえるでしょう。

設置も非常に簡単なため、是非SEO対策の一環として取り入れましょう!

  • このエントリーをはてなブックマークに追加
  • LINEで送る

SNSでもご購読できます。

コメントを残す

*