Blogger の robots.txt から Disallow: /search を削除したらどうなるのか?

Blogger の robots.txt から Disallow: /search を削除したらどうなるのかという実験をされている方のブログを見つけました。

Google BloggerブログHacks Tips Tweaks というブログの Google Blogger 独自のRobot.txt 変更でラベルはインデックスされやすくなりますか というエントリーです。



僕の Blogger ブログもラベルが 52 個ブロックされています。



真ん中あたりの行の Disallow: /search がブロックしている箇所です。

いままでは、/search のあとにキーワードを続けることで、いくつでもブログ内検索結果のページを作成できるからブロックしているのだと思っていましたが、違うみたいですね。


インデックスされると思うけど...

Disallow の行を削除することで、たぶんラベルページもインデックスされると思います。

ただし、トップページからの「前の投稿」のリンクは次のようになっているので、

/search?updated-max=2012-04-06T21:31:00%2B09:00&max-results=7

日付の部分や max-results の数字を変更してリンクを貼ることで、ものすごい数のページがインデックスできてしまうようなw

いたずらで上のリンク形式で大量のリンク貼られて、大量にインデックスされたりしたら、重複コンテンツといったことからも、Disallow: /search のままのほうが良いような気がします。

ラベルだけインデックスされるならいいんですけどね。

実験結果が楽しみです。

人気の投稿