Audyt | Audyt SEO | Baza wiedzy | Czym jest crawl budget?
Czym jest crawl budget?
W artykule o „Google jak działa oraz jak zbiera informacje”, wspomnieliśmy o crawl budget. Dlatego warto poświecić jedną podstronę aby odrobinę rozwiać wątpliwości, co to jest i do czego służy.
Co to jest crawl budget ?
Wspomniany crawl budget to instrukcja dla robota sieciowego, stanowiąca informację o maksymalnym czasie jaki może spędzić na danym adresie WWW, przy czym ograniczenie czasowe określa się do całej domeny. To jest forma zabezpieczenia przed ciągłym blokowaniem się robotów sieciowych na stronach, które zawierają w swoim kodzie oraz konstrukcji dużo błędów. Gdyby wyłączyć crawl budget, taki robot sieciowy mógłby spędzić na jednym adresie WWW cały dzień albo i więcej, skutecznie blokując indeksowanie innych witryn internetowych. Dlatego wprowadzono ograniczenie czasowe, gdy robot przekroczy wspomniany zadany czas, automatycznie kończy przeglądanie danego adresu WWW.Warto przeczytać również :
Jak serwer wpływa na prędkość indeksowania ?
Jak pomóc w pracy robotom sieciowym ?
Co spowalnia indeksowanie ?
Określenie maksymalnej ilości czasu pracy jednego robota sieciowego na jednej stronie internetowej pomaga w automatycznym wygaszaniu zablokowanych robotów i uruchamiania nowych procesów. Jednak skoro istnieje wyznacznik maksymalnego czasu spędzonego na stronie przez robota sieciowego, to powinniśmy maksymalnie ułatwić takiemu robotowi pracę. W tym miejscu warto zidentyfikować niektóre z zagrożeń wpływających na prędkość indeksowania. Chyba podstawowym wyznacznikiem prędkości pobierania danych jest prędkość serwera na którym znajduje się strona internetowa. Jeśli maszyna obsługująca dany adres odpowiada wolno na zapytania internautów, to też wolno odpowie na zapytania robotów sieciowych. Kolejnym wąskim gardłem jest przepustowość karty sieciowej podłączonej do danego serwera. Następnie spowolnienie może wyniknąć na łączach internetowych biegnących między serwerem a miejscem z którego stronę odwiedza internauta. Ostatecznie na prędkość indeksowania mają też błędy zawarte na podstronach witryny internetowej. Gdy znaczniki HTML lub atrybuty są źle zapisane w pliku, robot sieciowy będzie miał poważne problemy z interpretacją zawartości plików. Ostatecznie chyba najgorszymi błędami na stronach internetowych mogą być strony docelowe z komunikatem 4xx lub 5xx. Wszystkie informują o występowaniu jakiegoś błędu z witryną i wyświetlają stronę komunikatu co odbiera siłę siłę oraz pozycje w wyszukiwarkach. Nie ma nic gorszego od nie działającej prawidłowo strony internetowej dla robota sieciowego oraz internauty.Wszystkie powyżej wymienione elementy, mogą i zazwyczaj wyraźnie wpływają na pracę robotów sieciowych co skutecznie skraca ilość informacji które pozyskają. Jak wiadomo, jeśli roboty wyszukiwarek nie zbiorą wszystkich informacji o stronie i podstronach to nasze działania lub agencji zajmującej się pozycjonowaniem strony internetowej będą miały ograniczony wpływ na końcowy wynik optymalizacji strony WWW. To zaś wpłynie na czas w którym osiągniemy lepsze wyniki w rankingach prezentowanych przez wyszukiwarki. Niestety to też wpływa na ilość osób odwiedzających naszą stronę internetową oraz ilość klientów kończących transakcje sukcesem.
Jeśli artykuł został przeczytany ze zrozumieniem, to już rozumiesz dlaczego warto zainwestować w swoją stronę internetową oraz odpowiednie elementy składające się na infrastrukturę wspierającą działanie naszej strony internetowej.
