検索エンジンのWEBクロール現象(元院生の桑田かおるさんからの解答)

 昨日アップした「定期的なブログチェック」について、元院生(NEC勤務)の桑田薫さんから、ひとつの回答をいただいた。なんとなく私が推測していた様子とつじつまが合う。チェックされているブログ記事は、例外がなく1か月以内のものだった。それを超えるとアクセスは来ない。


小川先生

桑田薫です。
私も、毎日先生のHPを楽しみに拝読しております。
さて、10/7の掲題の件、私が知っている現象に近い事実をご連絡します。
既に、多くの方から同様のメールが言っているかもしれませんが、
ご参考までです。

検索エンジンの各社は、サービス向上の為、
HP内のindexも含め、キャッシングする目的で
定期的な全Webへのアクセスを実施して、更新部分をゲットしています。
これをWebクロールとか、ロボットクロールとか、スパイダーとか読んでいます。

おかげで、Google等でググると、
 素早い検索
 HP内のインデックスまで提示してその内容のサマリまで表示
など、ユーザの便益が図られています。

きっちり、2時間ごと、というのは、不明ですが、
検索エンジン会社の各社は、収集のアルゴリズムを
適宜変えているので、半年前のビヘビアと最近のビヘビアは異なるのは一般的です。

以上ご参考まで。