MASZ FIRMĘ LUB STRONĘ INTERNETOWĄ?

Pomóż klientom znaleźć Cię w Google.

Hawkly pomaga zwiększać widoczność stron internetowych i docierać do osób szukających konkretnych produktów oraz usług. Sprawdź nasze rozwiązania dla firm, sklepów i właścicieli stron.

Promocja strony Zwiększaj jej widoczność w internecie

Artykuły sponsorowane Publikacje z linkiem do Twojej strony

Usługi SEO Rozwijaj widoczność strony w Google

SPRAWDŹ OFERTĘ → ZAPYTAJ O PROMOCJĘ STRONY

KONFIGURACJA PLIKU

Ustaw reguły dla robotów

Wypełnij wybrane pola. Podgląd robots.txt będzie aktualizowany automatycznie.

PLIK /robots.txt

ROBOT / USER-AGENT

Najczęściej stosuje się User-agent: *, aby reguła dotyczyła wszystkich robotów.

DISALLOW Wpisz po jednej ścieżce w każdym wierszu. Reguła Disallow wskazuje obszary, których dany robot nie powinien crawlowć.

ALLOW Opcjonalnie dodaj ścieżki, które mają być dozwolone w obrębie szerszej reguły Disallow.

ADRES MAPY WITRYNY Podaj pełny adres URL mapy witryny. Pole możesz pozostawić puste.

DODATKOWE REGUŁY OPCJONALNIE Pole dla bardziej zaawansowanych użytkowników. Treść zostanie dodana na końcu wygenerowanego pliku.

GOTOWY PLIK robots.txt

PODGLĄD

WAŻNE

Reguła Disallow ogranicza crawlowanie wskazanego adresu przez zgodne z nią roboty. Nie należy traktować jej jako pewnej metody usuwania strony z wyników wyszukiwania.

PRZYKŁADOWY PLIK

Jak może wyglądać robots.txt?

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://twojastrona.pl/sitemap_index.xml

W tym przykładzie reguły dotyczą wszystkich robotów. Dostęp do katalogu /wp-admin/ jest ograniczony, natomiast ścieżka /wp-admin/admin-ajax.php pozostaje dozwolona. Na końcu wskazany jest adres mapy witryny.

JAK KORZYSTAĆ?

Utwórz plik w 3 krokach.

Wybierz robota

Określ, którego User-agent mają dotyczyć tworzone reguły.

Dodaj reguły

Wprowadź ścieżki Allow i Disallow oraz opcjonalnie adres mapy witryny.

Skopiuj plik

Sprawdź wygenerowaną treść i skopiuj ją do pliku robots.txt swojej domeny.

SKŁADNIA ROBOTS.TXT

Co oznaczają poszczególne reguły?

01User-agentWybór robota

Określa robota, którego dotyczą kolejne reguły. Gwiazdka * oznacza wszystkie roboty.

02DisallowOgraniczenie crawlowania

Wskazuje ścieżki, których zgodny z regułą robot nie powinien pobierać.

03AllowDozwolona ścieżka

Może wskazać dozwolony fragment znajdujący się wewnątrz obszaru objętego regułą Disallow.

04SitemapMapa witryny

Pozwala wskazać pełny adres URL mapy XML zawierającej adresy strony.

ROBOTS.TXT W SEO

O czym warto pamiętać?

Plik robots.txt znajduje się standardowo w katalogu głównym domeny, np. twojastrona.pl/robots.txt. Zawarte w nim reguły przekazują robotom informacje dotyczące crawlowania serwisu.

Nieprawidłowa konfiguracja może przypadkowo ograniczyć dostęp robotów do ważnych części strony. Szczególną ostrożność warto zachować przy szerokich regułach Disallow.

Robots.txt nie powinien być używany do ochrony poufnych danych. Sam plik jest publicznie dostępny, a respektowanie jego reguł zależy od konkretnego robota.