Поисковый робот

Поисковый робот «crawler»– программа,  являющаяся элементом  поисковой системы, которая просматривает страницы интернета для включения информации о них в базу данных поисковой системы.