XREAでAWStatsを走らせてみました

導入記 | ロボットたちの足跡 | 実例(当サイトのアクセス統計) | サイトTopへ

ロボットたちの足跡

 ひとたびはGoogleのインデックスに登録されたのですが、2日後、何故か抹消されてしまいました。ここにリンクした他のサイト様のページさえも検索結果に表示されなくなってしまいましたので、何かとんでもないことをしてしまったようです。はっきりした原因は分からないのですが、とりあえず少し様子を見ようと思います。その間、ロボットの訪問具合を記録しておこうと思って用意したページです。私以外の方には、きっと役に立たないし面白くもないでしょう。

注)日付は、その日までの集計を表します(「13日」なら、13日23時59分59秒まで)。毎朝7時に前日までのログを解析しますので、表は一日遅れで掲載していきます。

7/13 Googlebot初訪問

7/14 robots.txtを作成し、クロールしても意味のないフォルダへのクロール禁止を指定してみる。 なんだかロボットさんたちの訪問が多い。psbot初訪問。これはPicsearchというイメージ検索サイトのロボットらしいです。いったいどこから…?

7/15 Googleで「www.cyclan.org」を検索しても何もヒットしなくなる。もう誰も愛せない…。
MSNBot初訪問。msnサーチに登録される。AWStatsのロボット検知の部分を書き換えて実験中のため、Yahoo! Slurpが新規検出されてますが、Yahoo(ページ検索)には結構前から登録されていました。これまでは「Unknown robot」として認識されていたのではないかと。

7/16 robot.txtを修正

7/17 Googleに再登録されました! でも、リンクしてくれているサイトさんはまだヒットしません。

7/18 気づかぬうちにmsnがトップ以下の階層を読んでくれてた模様。

7/19 altavistaに登録されました(わざわざYahoo USのアカウント作った甲斐があったヨ…)。

スゴイぞ、なんだか英語のサイトみたいだ! (≧∀≦)アッハッハ!

7/20 

7/21 MSNロボットさんがやたらと訪問してくれている。

7/24 そろそろ飽きてきました。

7/27 robots.txtが読まれまくる。うーん、それにしてもInfoseekは…ダメだったかなこりゃ。巡回依頼メール出したのにー。

7/29 今更だけど調べてみたらGoogleロボットがトップページしか拾ってくれないというのは、結構よくある話みたいです。実際、このサイトに「google トップページしか」って検索キーで飛んできている人がいるくらい。ということで、トップページのサイト内検索ボックスを、あっさりmsnサーチに変えちゃいました。Namazuの使い方が、よく分からなかったんじゃよー。
同志!

7/31 AskJeevesが画像ごと引っこ抜いていった模様。でもAsk(日、米)でヒットせず。何だったんでしょう…。ついでにAltavistaのインデックスからも削除されました。とほほー。
 

 

このページのTopへ


mailmail to master