Czym jest Crawl Budget i jak działa na SEO?

Z pewnością nie raz zastanawialiście się, jak działają roboty Google - co wykonują po wejściu na Twoją stronę i jak długo na niej przebywają oraz dlaczego niektóre witryny są częściej wizytowane?

Sporo w tej kwestii ma do czynienia aspekt "gościnności". Jeżeli roboty będą zderzały się z licznymi blokadami podstron, bądź błędnymi przekierowaniami, to system crawlerów w znacznym stopniu może ograniczyć skanowanie strony internetowej, ponieważ będzie wiadomo, że boty prawdopodobnie nie są tutaj mile widziane i zbyt wielu podstron do indeksowania raczej nie znajdzie.

• Czym jest crawl budget?
• Co to jest crawl rate limit?
• Jak zwiększyć działania SEO?
• Jak robot znajduje strony internetowe?
• Co robią boty Google?
• Czym jest zarządzanie budżetem indeksowania?
• Jak maksymalnie wykorzystać możliwości crawlera?
  
  

Co to jest crawl budget?

Jak sama nazwa może już podpowiadać - crawl budget to maksymalna ilość podstron (budżet) określonej strony internetowej, jakie mogą przeskanować roboty podczas jednej wizyty. Każdy mechanizm ma ograniczone siły robocze, również roboty wyszukiwarki Google. Wobec tego liczba podstron możliwych do sprawdzenia każdego dnia ma swój pułap. O tym, jaki jest wysoki, decyduje atrakcyjność strony, jej optymalizacja oraz częstotliwość aktualizacji treści.

Co to jest crawl rate limit?

Warto wiedzieć, że choć budżet na każdą stronę nie jest zbyt wielki, to można nieco stymulować robotami i wskazywać im drogę, jaką mają podążać w pierwszej kolejności, aby w swoich zasobach aktualizowały wybrane podstrony.

Poprzez serwerowy dziennik możliwe jest ustalenie, ile razy w tygodniu boty Google odwiedzają witrynę, a także jak wiele podstron przeskanowały. Należy takie kontrole wykonywać systematyczne przez jakiś czas, po czym podzielić zsumowane liczby przez liczbę kontrolowanych dni. W ten sposób da się oszacować crawl budget, jaki został przypisany do Twojej strony internetowej.

Crawl rate limit to inaczej współczynnik indeksacji, będący zależny od tzw. crawl health, a więc możliwości (kondycji) robotów. Wiele wynika np. z kondycji technicznej witryny, w tym m.in. szybkości ładowania się strony. Jeżeli reakcja serwera jest błyskawiczna, tym zwiększa się szansa na bardziej zakrojoną akcję indeksacji przez crawlery Google, czyli podwyższenie limitu.

Jak zwiększyć działania SEO?

Jedną z podstawowych zasad SEO - na pozór banalną - jest fakt zadbania o obecność wszystkich podstron w indeksie Google. Odpowiednio zoptymalizowana, bogata w treści i odpowiadająca na konkretne zapytania użytkowników strona internetowa, ma większe szanse na lepsze pozycje w wynikach wyszukiwarki. Wyższe miejsca w Google doprowadzają z kolei do wzrostu świadomości marki i zdobywania większej ilości nie tylko użytkowników, ale i klientów. Z kolei większa liczba klientów to rzecz jasna zwiększona sprzedaż i zyski. Na działanie robotów Google powinny zwracać uwagę zwłaszcza duże sklepy internetowe, które w swoich strukturach mają nawet kilkaset tysięcy podstron, co w związku z crawl budget'em powoduje rozłożenie indeksacji wszystkich materiałów w czasie. Mniejsze witryny raczej nie muszą się martwić limitami robotów.

Roboty wyszukiwarki są bardzo zaawansowanymi mechanizmami, potrafiącymi samodzielnie sprawdzić i przypisać witrynę do zapytań oraz informacji, jakie poszukują internauci. Dobrze jest jednak nieco uprościć im to zadanie, bowiem nawet w przypadku dobrze zoptymalizowanego serwisu - ale nigdy nie indeksowanego - ten tak szybko nie pojawi się w wynikach wyszukiwania.

Jak roboty Google i innych wyszukiwarek odnajdują strony internetowe?

Googleboty codziennie w całej sieci odnajdują i przetwarzają niezliczoną ilość informacji oraz adresów. Analizują m.in. linki zewnętrzne, które pełnią również rolę wskazania drogi dla Googlebota. Wartością jest jak największa liczba linków na popularnych stronach, które będą prowadziły do Twojej witryny. Wówczas robot z reguły szybciej na nią trafi z zewnątrz. Priorytetem jest jednak zawsze mieć w głowie słowo "jakość", bowiem link linkowi nie jest równy, wiele zależy od reputacji danego serwisu, a to ważny czynnik rankingowy Google.

Stronę internetową można także zgłosić samodzielnie, poprzez narzędzie Google Search Console. Platforma ta okazuje się szczególnie przydatna, w przypadku całkowicie nowego adresu, do którego nie prowadzi żaden link zewnętrzny. Wtedy jest wielce prawdopodobne, że Googleboty w krótkim czasie odwiedzą witrynę, aby pojawiła się w indeksie wyszukiwarki - o ile w plikach na serwerze (lub w kodzie strony) nie działają komendy blokujące indeksację (plik robot.txt, albo atrybut noindex).

Indeksowanie w wyszukiwarce Google - co robią boty?

Roboty po wejściu na stronę internetową szczegółowo analizują opublikowane treści. Dzięki temu są w stanie przypisać ją do konkretnej tematyki, ocenić jej jakość względem konkurencyjnych witryn, a także sprecyzować ważne frazy kluczowe. Wszystko to składa się na końcową ocenę i miejsca na listach wyszukiwania. O tym, do jakiej grupy strona zostanie zakwalifikowana, decydują oczywiście treści, w tym tytuły (meta title), opisy (meta description), adresy URL oraz nagłówki. Takie informacje, jak i zoptymalizowane w kontekście SEO teksty, mają bardzo duże znaczenie, ponieważ algorytmy zwracają uwagę na szczegóły. Podobnie jest z obrazami - plikami graficznymi, które powinny być zatytułowane i opisane (atrybut ALT) zgodnie z tym, co jest na nich ukazane.

Jak pomóc botom Google w efektywnym użyciu crawl budget'u?

Jeśli zależy Tobie na czasie, można w tym celu postarać się uporządkować wszystko to, co znajduje się na stronie internetowej. Przede wszystkim zminimalizować dostęp do podstron, które nie chcesz, aby były widoczne w wyszukiwarce. W to należy wliczyć też np. duplikację treści, błędne przekierowania, podstrony powstające w wyniku filtrowania danych, kosze zakupowe, albo podstrony już usunięte (czego konsekwencją są wyskakujące błędy 404). Generalnie takie, które nie mają zbyt wielkiej wartości. Podstawową czynnością jest skonstruowanie mapy strony, w której pojawiają się wszystkie godne uwagi podstrony serwisu, pomagające algorytmom zrozumieć całą strukturę.

Aby boty nie marnowały swojego budżetu skanowanych stron, warto pomyśleć o aspektach wspomnianych powyżej. Zaoszczędzi to czas robotom, które swoją uwagę skupią na wartościowym contencie.