Googlebot
Googlebot - automat internetowy, żywy dzięki Google. Przechodząc spośród jednej okolica na drugą w ciągu pomocą odnośników indeksuje je tym samym tworząc katalog na rzecz wyszukiwarki Google.Jeśli
webmaster zażyczy sobie, no tak aby informacje na jego stronie negacja logiczna dotychczasowy dostępne na rzecz
Googlebota bądź innego dzieło internetowego, przypuszczalnie zrealizować owo w ciągu pomocą pliku robots.txt
Googlebot działa w środku dwóch wersjach; wykonuje no tak nazywany deep crawl dodatkowo fresh crawl. Deep crawl innymi słowy czołganie się głębokie ma w ciągu zajęcie przechodzenie na jakikolwiek łącze który znajdzie na "oglądanych" dzięki siebie stronach dodatkowo dodanie tylu, tak dalece może, aż do indeksu. Ten sprawa sądowa jest kończony dodatkowo powtarzany mniej więcej co miesiąc. W trybie Fresh crawl surfuje po sieci dodatkowo odwiedza okolica zmieniające się często; w środku relacje od chwili tego, podczas gdy cyklicznie są aktualizowane. Operacja ta wykonywana jest w środku celu odświeżenia cyklicznie zmieniającej się zawartości niektórych stron
Googlebot przegląda okolica korzystając ze wszystkich linków, jakie znajdzie na każdej wpierw odwiedzonej dzięki siebie stronie. Nowe okolica muszą egzystować zalinkowane od chwili innej, znanej nuże
Googlebotowi strony, no tak aby mógł ją wpaść dodatkowo zaindeksować.Problem, spośród którym cyklicznie borykają się
webmasterzy owo duże zniszczenie transferu dzięki
Googlebota Może mąż powodować, iż okolica wykorzystają własny ograniczenie transferu dodatkowo zostaną na niejaki godzina zawieszone. To sprawa jeśli chodzi o wyjątkowo stron mirrorujących, które przechowują gigabajty danych. Google umożliwia dojście aż do
Webmaster Tools", która umożliwia posiadaczom stron dostosowanie "natężenia" odwiedzin
Googlebota na stronie.