|
Паук (краулер, бот, робот поисковика) |
|
|
Паук (краулер, бот, робот поисковика) – система поисковой системы, осуществляющая индексацию веб-страниц интернета. Переходя по ссылкам, робот-паук копирует, обрабатывает и заносит в специальную базу данных все веб-страницы. Отследить заходы пауков на страницы вашего сайта можно по логам сервера или с помощью систем статистики.
|