blogger

【緊急パート2】ウェブマスターツールでBloggerがどんなrobot.txtになってるか確認したら大変な事になっていたの巻

さっきrobot.txtを書き換えフーってなってた時にちょっと頭の中に過ぎった事がある。ウェブマスターツールのrobot.txtってどうなってんねん？
知らない人もいるかもしれないけど、ウェブマスターツールでもrobot.txtが存在する。
てことは２つともいじらないといけないって事になる。

まさかなぁ何もいじってないし、何も書いてるはずないよな…。と思って見てみました。もう涙ですよ(´；ω；｀)ﾌﾞﾜｯ

ええ中身を見てちょっと驚愕しましたよおじさんは。search拒否されてるじゃないですかぁぁあああ！！その下のラベルがインデックスされていない理由がわかりましたよ…。ﾄﾎﾎ

▼実際こうなってました

検索検索

ちょっとどうなってんねんって思って検索してみたらクリボウさんの記事があった！！

随分昔の記事だけどいきなり変更があることが分かった…。

 Mediapartners-Googleの正体

こいつはGoogleAdSense用のロボット向けらしい。そんなんあるんだねーって思いながらこれはこれでいいかな？公共性が高いのが出るようになるらしいんで、もしも公共性が高いやつがやだって人はこれを削除。

▼実際のコード

User-agent: Mediapartners-Google
Disallow: 

次の行からの正体

なんだけど、こいつってなんなんって思うけど、上から順序に理解していく。

User-agent: *ってのは：の後にあるものに対しての宣言。アスタリスクだから全てのロボットに対してって事。

次のDisallow: /searchってのは「禁止します」宣言。ああああああなんで禁止します宣言してんねん！！って思ったけど他のブログを見てもsearchファイルは禁止している…。一体これはなんなんだろう‥‥と思うけどとりあえずこれはこれでおｋ！！

Allow: /ってのは上以外のやつは全部おｋって事らしい。

▼実際のコード

User-agent: *

Disallow: /search

Allow: /

これって向こうと揃えないと駄目じゃない？

Bloggerとウェブマスターツールバラバラだとどうなるんだろう…。そう思って両方とも揃える事にした！！！！

という事でウェブマスターツールのほうを書き換える事に！！

これでちょっとやっていくお！！多分search以下のラベルファイルもこれでインデックスされるはず！

▼書き換えたお

またね( ˘ω˘)ｽﾔｧ