このブログに携帯端末からの閲覧用としてMT4iを入れてて、
基本的にどこからもリンクされてないはずなんですけど、
なぜかGoogleが日々クロールしにきているのです。
しかもこのサイトで一番アクセスが高いのが/m/だったりします。
僕的にMT4iはちょっと試してみようという感じで入れただけなので、
クロールを回避するためにrobots.txtを今更置きました。
内容はいたってシンプルです。
User-agent: *
Disallow: /m/
過去に1日だけ間違えてアンカーつけた状態で公開してたのだけど
そのときの情報が保存されていてクロールに来るのでしょうか。