ロボットたちの足跡
ひとたびはGoogleのインデックスに登録されたのですが、2日後、何故か抹消されてしまいました。ここにリンクした他のサイト様のページさえも検索結果に表示されなくなってしまいましたので、何かとんでもないことをしてしまったようです。はっきりした原因は分からないのですが、とりあえず少し様子を見ようと思います。その間、ロボットの訪問具合を記録しておこうと思って用意したページです。私以外の方には、きっと役に立たないし面白くもないでしょう。
注)日付は、その日までの集計を表します(「13日」なら、13日23時59分59秒まで)。毎朝7時に前日までのログを解析しますので、表は一日遅れで掲載していきます。
7/13 Googlebot初訪問
7/14 robots.txtを作成し、クロールしても意味のないフォルダへのクロール禁止を指定してみる。
なんだかロボットさんたちの訪問が多い。psbot初訪問。これはPicsearchというイメージ検索サイトのロボットらしいです。いったいどこから…?
7/15 Googleで「www.cyclan.org」を検索しても何もヒットしなくなる。もう誰も愛せない…。
MSNBot初訪問。msnサーチに登録される。AWStatsのロボット検知の部分を書き換えて実験中のため、Yahoo!
Slurpが新規検出されてますが、Yahoo(ページ検索)には結構前から登録されていました。これまでは「Unknown robot」として認識されていたのではないかと。
7/16 robot.txtを修正
7/17 Googleに再登録されました! でも、リンクしてくれているサイトさんはまだヒットしません。
7/18 気づかぬうちにmsnがトップ以下の階層を読んでくれてた模様。
7/19 altavistaに登録されました(わざわざYahoo
USのアカウント作った甲斐があったヨ…)。
スゴイぞ、なんだか英語のサイトみたいだ! (≧∀≦)アッハッハ!
7/20
7/21 MSNロボットさんがやたらと訪問してくれている。
7/24 そろそろ飽きてきました。
7/27 robots.txtが読まれまくる。うーん、それにしてもInfoseekは…ダメだったかなこりゃ。巡回依頼メール出したのにー。
7/29 今更だけど調べてみたらGoogleロボットがトップページしか拾ってくれないというのは、結構よくある話みたいです。実際、このサイトに「google トップページしか」って検索キーで飛んできている人がいるくらい。ということで、トップページのサイト内検索ボックスを、あっさりmsnサーチに変えちゃいました。Namazuの使い方が、よく分からなかったんじゃよー。
同志!
7/31 AskJeevesが画像ごと引っこ抜いていった模様。でもAsk(日、米)でヒットせず。何だったんでしょう…。ついでにAltavistaのインデックスからも削除されました。とほほー。