Komunikat o zablokowaniu strony przez plik robots.txt oznacza, że reguły w tym pliku ograniczają Googlebotowi możliwość crawlowania danego adresu. Jeśli strona ma pojawiać się w Google, trzeba znaleźć regułę Disallow, która ją blokuje, poprawić plik robots.txt, a następnie ponownie sprawdzić URL w Google Search Console. Jeśli blokada jest celowa, nie należy jej usuwać tylko dlatego, że Search Console ją raportuje.
Co oznacza blokada przez plik robots.txt?
Plik robots.txt znajduje się zwykle w głównym katalogu domeny i jest dostępny pod adresem:
https://twojadomena.pl/robots.txt
Zawiera instrukcje dotyczące crawlowania witryny przez roboty.
Przykładowa reguła:
User-agent: *
Disallow: /sklep/
informuje roboty respektujące tę regułę, że nie powinny crawlować adresów znajdujących się w katalogu /sklep/.
Jeśli właśnie tam znajdują się produkty, które chcesz wyświetlać w Google, konfiguracja wymaga poprawy.
Jak sprawdzić, czy robots.txt blokuje stronę?
Najpierw otwórz:
twojadomena.pl/robots.txt
Następnie wyszukaj reguły Disallow.
Jeśli problem dotyczy na przykład adresu:
twojadomena.pl/blog/poradnik-seo
zwróć uwagę na reguły obejmujące /blog/, konkretną podstronę lub większą część witryny.
Szczególnie niebezpieczna dla publicznego serwisu może być konfiguracja:
User-agent: *
Disallow: /
Taki zapis blokuje crawlowanie całego serwisu robotom, których dotyczy reguła. Zdarza się, że jest używany na wersji testowej strony, a po uruchomieniu witryny administrator zapomina go usunąć.
Jak naprawić blokadę robots.txt?
Jeżeli strona powinna być dostępna dla Google, usuń lub zmień regułę powodującą blokadę.
Załóżmy, że masz:
User-agent: *
Disallow: /oferta/
a pod adresem /oferta/pozycjonowanie znajduje się ważna strona usługowa. Jeżeli cały katalog /oferta/ powinien być crawlowany, reguła Disallow: /oferta/ nie powinna go blokować.
Po zmianie zapisz nowy plik robots.txt na serwerze i sprawdź publiczny adres:
https://twojadomena.pl/robots.txt
Upewnij się, że widoczna jest aktualna wersja.
Gdzie edytować robots.txt w WordPressie?
W WordPressie sposób zarządzania plikiem zależy od konfiguracji serwisu.
Plik można edytować bezpośrednio na serwerze, jeśli istnieje jako fizyczny robots.txt. Niektóre wtyczki SEO i narzędzia administracyjne również oferują funkcje związane z robots.txt.
W zależności od używanej konfiguracji pomocne mogą być między innymi:
- Yoast SEO,
- Rank Math,
- All in One SEO,
- SEOPress.
Nie edytuj pliku w ciemno. Przed zmianą skopiuj jego obecną zawartość, żeby w razie problemu móc przywrócić poprzednią wersję.
W PrestaShop, Joomla i innych CMS-ach sposób generowania robots.txt może być inny. Plik może być fizycznym zasobem na serwerze albo być tworzony lub modyfikowany przez system, moduł lub rozszerzenie.
Czy robots.txt usuwa stronę z Google?
Nie należy traktować robots.txt jako narzędzia do deindeksacji.
Blokada crawlowania nie jest tym samym co polecenie noindex. Jeśli Google zna adres z innych źródeł, na przykład z linków, sam zakaz crawlowania nie stanowi właściwej metody usuwania URL z indeksu.
Jeśli strona ma działać, ale nie powinna pojawiać się w Google, zazwyczaj stosuje się dyrektywę:
<meta name="robots" content="noindex">
Googlebot musi jednak mieć możliwość odwiedzenia strony, żeby zobaczyć tę dyrektywę.
Łączenie noindex z blokadą crawlowania w robots.txt może więc prowadzić do problemu: robot nie wejdzie na stronę i nie odczyta noindex.
Co zrobić po poprawieniu robots.txt?
Po usunięciu przypadkowej blokady otwórz Google Search Console.
W górnym polu sprawdzania adresu wklej pełny URL problematycznej strony. Sprawdź jego stan, a jeśli jest to potrzebne, wykonaj test aktualnie opublikowanej wersji strony.
Gdy adres jest już dostępny dla Google i nie występują inne przeszkody, możesz skorzystać z możliwości zgłoszenia go do indeksowania.
Nie oczekuj, że komunikaty i dane w raportach zmienią się natychmiast po zapisaniu robots.txt. Google musi ponownie przetworzyć odpowiednie informacje.
Strona nadal nie jest indeksowana – co sprawdzić?
Usunięcie blokady robots.txt nie gwarantuje indeksacji. Jeśli URL nadal nie pojawia się w Google, sprawdź również:
- czy strona nie ma
noindex, - czy zwraca prawidłową odpowiedź HTTP,
- czy nie przekierowuje pod inny adres,
- jaki ma canonical,
- czy znajduje się w mapie XML,
- czy prowadzą do niej linki wewnętrzne.
Warto też sprawdzić jakość i unikalność samej podstrony.
Czy linki zewnętrzne pomogą po odblokowaniu strony?
Linki zewnętrzne mogą pomagać Google odkrywać adresy i są jednym z elementów SEO, ale nie naprawią błędnego robots.txt. Najpierw trzeba zapewnić robotowi prawidłowy dostęp.
Przy pozyskiwaniu linków warto kierować się dopasowaniem tematycznym konkretnej publikacji. Nie cały serwis musi dotyczyć Twojej branży. Ważne, aby artykuł, z którego prowadzi link, był związany tematycznie z linkowaną stroną.
Jeżeli Search Console zgłasza blokadę robots.txt, zacznij więc od ustalenia, czy jest ona celowa. Jeśli dotyczy ważnej strony przeznaczonej do pozycjonowania, popraw odpowiednią regułę Disallow, sprawdź dostępność URL i dopiero później zajmij się pozostałymi elementami indeksowania oraz SEO.