robots.txtの仕様

深いディレクトリをクロールしようとしたら、各階層を絨毯爆撃しなきゃいけなくなる

確かにそうだ。

ところで素朴な疑問が湧いた。これまでhttp://arton.no-ip.info/diary/以下はgooglebotにクロールされていなかったのだろうか。

いくつかキーワードを"arton"とあわせてGoogleで引いてみると、キャッシュはされていない。またタイトルはindexingされているが本文はされていないらしい。