Analiza pliku robots.txt
Wklej treść swojego pliku robots.txt i zobacz, które roboty AI mają dostęp do Twojej strony. Analiza działa w Twojej przeglądarce: niczego nie wysyłamy na serwer.
Kto ma dostęp
Na przykład / dla całej strony albo /blog/.
Utwórz plik robots.txt
Czy wpuszczać roboty, które uczą modele AI, decydujesz Ty. Oba warianty zostawiają dostęp robotom wyszukiwarek.
Koszt wariantu B: cytowania z odnośnikiem zostają, bo pochodzą z robotów wyszukiwania. Modele trenowane po tej dacie mogą wiedzieć o Twojej marce mniej, gdy odpowiadają bez wyszukiwania. Skali tego efektu nikt nie zmierzył.
Dobrze wiedzieć
- Plik robots.txt to prośba, nie zabezpieczenie. Roboty, których operator nie deklaruje przestrzegania pliku, oznaczamy w wynikach.
- Narzędzie ocenia treść pliku. Nie sprawdza, jak serwer go podaje: kodu odpowiedzi, przekierowań i czasu przechowywania w pamięci podręcznej.
- Klasy robotów i ich zachowanie opieramy na dokumentach operatorów. Przy każdym robocie jest odnośnik do źródła.