クロール （crawl）

クロールとは、検索エンジンのロボット（クローラ）が Web ページを訪問し、
Web ページの情報を収集していくことをいいます。

クローラが Web ページをクロールすることで、その Web ページをインデックス
したり、キャッシュを取得したりします。