Pomóż klientom znaleźć Cię w Google.
Hawkly pomaga zwiększać widoczność stron internetowych i docierać do osób szukających konkretnych produktów oraz usług. Sprawdź nasze rozwiązania dla firm, sklepów i właścicieli stron.
Tester robots.txt
Sprawdź, czy konkretny adres URL jest dozwolony lub zablokowany dla wybranego robota i zobacz regułę, która zdecydowała o wyniku.
Sprawdź konkretny adres URL
Wklej zawartość robots.txt, podaj adres strony i wybierz robota, dla którego chcesz wykonać test.
Wprowadź dane i uruchom test.
—
Jeżeli do adresu pasuje kilka reguł, tester wybiera najbardziej szczegółową pasującą regułę. Przy regułach o tej samej długości pierwszeństwo otrzymuje Allow.
Dlaczego URL może być dozwolony mimo Disallow?
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Do adresu pasuje zarówno szersza reguła Disallow: /wp-admin/, jak i bardziej szczegółowa reguła Allow. W tym przypadku to bardziej szczegółowe dopasowanie decyduje o wyniku.
Sprawdź regułę w 3 krokach.
Skopiuj zawartość pliku robots.txt analizowanej strony.
Wpisz pełny adres lub ścieżkę i wybierz User-agent, dla którego wykonujesz test.
Zobacz, czy crawling jest dozwolony oraz która reguła zdecydowała o wyniku.
Zablokowane nie oznacza „usunięte z Google”.
Brak blokującej reguły oznacza, że robots.txt nie ogranicza dostępu wybranego robota do testowanej ścieżki.
Pasująca reguła Disallow informuje zgodnego z nią robota, że nie powinien pobierać wskazanego adresu.
Samo zablokowanie crawlowania przez robots.txt nie jest gwarantowaną metodą usunięcia adresu z wyników wyszukiwania.
Co dokładnie sprawdza narzędzie?
Tester analizuje wklejoną zawartość robots.txt, odnajduje sekcję odpowiadającą wybranemu User-agentowi i porównuje zawarte w niej reguły z podanym adresem URL.
Obsługiwane są podstawowe dyrektywy User-agent, Allow i Disallow, a także symbole * oraz $ stosowane we wzorcach ścieżek.
Narzędzie jest symulatorem opartym na wprowadzonej treści. Nie pobiera aktualnego robots.txt z podanej domeny i nie sprawdza faktycznego zachowania konkretnej wyszukiwarki.
Wynik dotyczy wyłącznie reguł znajdujących się w treści wklejonej do testera. Przed zmianą pliku produkcyjnego sprawdź konfigurację również pod kątem innych robotów i ważnych sekcji serwisu.