クローラー

【英訳】Crawler

意味

検索エンジンがWEBサイトのデータ取得を目的として実行している自動巡回のロボットプログラム。
クローラーがWEBサイトを訪れた場合は、通常のユーザーからのアクセスとの違いとして、
□代表的なクローラーのHTTPのユーザーエージェント
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
等の環境変数の履歴をサーバーに残す。
「スパイダー」と同義。