インデックスとキャッシュ

キーワード検索の対象は、インデックスサーバのインデックス。

これに対して、検索結果画面に表示されるのは、キャッシュサーバのタイトルやスニペット（説明文）など。

キャッシュに最新の日付が出ていたり、修正済みのページが出ても、インデックスも更新されているとは限らない。

時々キャッシュが古いものに戻ってしまうが、仮に最新のキャッシュが表示されていても、インデックスは古いままということがある。

そして、ランキング対象のページは、順位付けされるのは、インデックスのみである。

詳しくは、Googleのキーワード検索の研究〜改訂版へ

インデックスクロール（IndexBot）

インデックスサーバ用のクロールをインデックスクロール（IndexBot）と、仮称しておく。

以前のDeepbotと同じであるが、IPやホスト名、User-Agentなどによって見分けることはできない。

このインデックスクロールによってGETされたページが、順位付け対象のインデックスとなる。

キャッシュクロール（CacheBot）

ドキュメントサーバ用のクロールをキャッシュクロール（CacheBot）と、仮称しておく。

IndexBot同様、見分けが付かない。

このキャッシュクロールによってGETされたページのタイトルやスニペットが、検索結果画面（SERPs）に表示される。

また、キャッシュクロールにGETされたページは、原則として、順位付けの対象とはなっていない。

消えてしまうことも、古いものに戻ってしまうこともある。

デートクロール（DateBot）

ドキュメントサーバ用のクロールはキャッシュクロール（CacheBot）であるが、その中で日付入りに関するものをデートクロール（DateBot）と、仮称しておく。

デートクロールはキャッシュの日付入りに現れる。ただし、日付入りキャッシュがすべてデートクロールの対象であるわけではない。

瞬間的にSERPsに出現するページにも、日付が表示されることがある。ただし、短期間で消え去ることが多い。

当サイトの検証では、デートクロールされているページからリンクされているページが、デートクロールの対象となっている。

Googlebot/Test

User-Agentは、Googlebot/TestまたはGooglebot/Test (+http://www.googlebot.com/bot.html)となっている。

今のところIPは、64.68.89.xもしくは64.68.83.xである。

また、Hypertext Transfer Protocolは、HTTP/1.1となっていることも特徴的だ。

同一ページを、短時間に何度もGETしたり、驚くべきはJavaScriptもGETされている。

JavaScript

「filetype:js function」という検索をしてみるとおもしろい。

ただし、ファイルにはすべて引数がついている。

しかも、Testbot以前にはインデックスされていなかったのか、定かではないし…

Googlebot/2.1

Googlebot/2.1 (+http://www.googlebot.com/bot.html)

通常のGooglebot。

Mozilla/5.0

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

たまに見かけるGooglebot。

Mediapartners-Google/2.1

Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)

AdSense用のGooglebotと言われている。

Googlebot-Image/1.0

Googlebot-Image/1.0 (+http://www.googlebot.com/bot.html)

イメージ検索用の画像を収集するGooglebot。

Googlebot/Test

Googlebot/Test

Googlebot/Test (+http://www.googlebot.com/bot.html)

不審なGooglebot。上記参照。

他の検索エンジンについて

ＷＥＢ雑記2　USER-AGENT（サイトを訪れるユーザーエージェントについて）

HTTPステータスコード

64.68.82.28 - - [07/May/2003:15:57:19 +0900] "GET /google/ HTTP/1.0" 200 36657 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
上記ログの「200」の箇所は、HTTPステータスコードという。「301」「302」「304」「401」「404」などと記録される。

HTTPステータス・コードやHTTPステータスコードを参照のこと。