ホームページを作ったらやること その③robots.txtを作る

  • このエントリーをはてなブックマークに追加

サイトマップまで作り終えたら、お次はrobots.txtを作りましょう。
サイトマップ作成がお済みでなければ先に作っておきましょう。
サイトマップの作り方→

robots.txtとは?

ホームページの特定のページをgoogle検索結果から除外したり許可したり、あるいはサイトマップの場所(sitemap.xmlのあるディレクトリ)を明示したりします。

なぜ必要か?

ざっくりとアクセス制限をする場合は、.htaccessによる制御でもOK(別記事で詳しく解説)なのですが、sitemap.xmlの在り処を示してくれるのはrobots.txtしかないので作った方が良いのです。

robots.txtの作り方

robots.txtを作る

デスクトップ等で右クリックしてテキストファイルを作成し、名前をrobotsにして保存しましょう。

robots.txtの中身を書く

例えば、このブログのrobots.txtは以下の通りです。

User-Agent: *
Disallow: /***/******/
Sitemap: https://webtuku-dot.com/sitemap.xml

User-Agent: *

これは、全てのクローラー(googleとかbingとか全部)に対しての命令であることを意味します。ここは変に変えなくてOKです。

Disallow: /***/******/

***の部分にはもちろん文字列が入ります。これは、特定のディレクトリ配下を検索結果から除外するという記述です。複数指定したい場合は、
Disallow: /***/******/
Disallow: /***/*****/
といったように行を増やせばOKです。

Sitemap: https://webtuku-dot.com/sitemap.xml

sitemap.xmlの場所を明示しています。

ここまで出来たら、あとはrobots.txtをサーバーにアップするだけです。

robots.txtをサーバーにアップする

robots.txtは、ドメイン直下のディレクトリに置きます。(sitemap.xmlと同じ場所です)
例として、xserverではデフォルト設定のままだとpublic_htmlというディレクトリ直下に置きます。

以上でOKです!

なんか以前は、ここからさらにgoogle search consoleにログインして若干操作が必要だったのですが、ここ最近 google search console が改修され、それに該当する操作項目が無くなりました。
なので、ここまでできたら100点です。

お疲れさまでした。

また次の記事でお会いしましょう。

では!

  • このエントリーをはてなブックマークに追加

SNSもやってます。

コメントを残す

*