Słownik robotów AI i robots.txt
Krótkie definicje robotów wyszukiwarek i systemów AI oraz pojęć z pliku robots.txt. Dla firm, agencji marketingowych i organizacji przedsiębiorców z całej Polski, które chcą zdecydować, kto może czytać ich stronę. Przy każdym haśle jest przykład wpisu i link do oficjalnego źródła. Aktualizacja: 14 października 2026 r.
Allow
Allow to reguła w pliku robots.txt, która pozwala robotowi pobierać wskazaną ścieżkę.
Ścieżkę liczy się od katalogu głównego, z rozróżnieniem wielkości liter. Gdy pasuje kilka reguł, wygrywa ta z najdłuższą ścieżką, a przy remisie Allow i Disallow pierwszeństwo ma Allow. Google przy konflikcie stosuje regułę najmniej restrykcyjną.
User-agent: *
Disallow: /koszyk/
Allow: /koszyk/pomoc/Źródło: RFC 9309, IETF; Google: interpretacja specyfikacji robots.txt
Sprawdź, czy reguły Allow w Twoim pliku działają tak, jak zakładasz.
Amazonbot
Amazonbot to robot Amazona, który zbiera treści do ulepszania produktów firmy i może służyć do trenowania modeli AI.
Przestrzega robots.txt, ale nie obsługuje pola Crawl-delay i może używać kopii pliku z ostatnich 30 dni. Metatag noarchive Amazon traktuje jako sprzeciw wobec trenowania. Wyszukiwanie (np. Alexa) obsługuje osobny robot Amzn-SearchBot.
User-agent: Amazonbot
Disallow: /Źródło: Amazon: Amazonbot
Applebot
Applebot to robot Apple, który pobiera strony do wyszukiwania w Spotlight, Siri i Safari.
Pobrane dane mogą też służyć trenowaniu modeli Apple; zgodą na trenowanie steruje się osobnym tokenem Applebot-Extended. Applebot przestrzega robots.txt, a gdy plik nie ma grupy Applebot, stosuje reguły dla Googlebota. Nie obsługuje pola Crawl-delay.
User-agent: Applebot
Disallow:Źródło: Apple: About Applebot
Applebot-Extended
Applebot-Extended to token Apple, którym właściciel strony decyduje, czy jej treść może służyć do trenowania modeli Apple.
To sam token, a nie osobny robot: według Apple „does not crawl”. Stron nie pobiera Applebot, robot wyszukiwania Apple (Spotlight, Siri, Safari). Applebot bez własnej grupy w robots.txt stosuje reguły dla Googlebota.
User-agent: Applebot-Extended
Disallow: /Źródło: Apple: About Applebot
Sprawdź, czy Twoja strona pozwala Apple trenować modele na swojej treści.
Bingbot
Bingbot to główny robot wyszukiwarki Bing, prowadzony przez Microsoft.
Ten sam indeks zasila odpowiedzi Copilota; w dokumentacji Bing nie ma osobnego tokenu dla Copilota. Bingbot przestrzega robots.txt i obsługuje pole Crawl-delay. Jeśli w pliku jest grupa z nazwą bingbot, Bing ignoruje pozostałe grupy. Użyciem treści w czacie i do trenowania steruje się w Bing metatagami NOCACHE i NOARCHIVE, nie plikiem robots.txt.
User-agent: bingbot
Disallow:Źródło: Bing Webmaster Blog, 2012; Bing Webmaster Blog, 22.09.2023
Bytespider
Bytespider to robot firmy ByteDance, który zbiera dane z sieci.
Źródła branżowe łączą go z TikTokiem i modelami Doubao. Jest wiele zgłoszeń, że ignoruje robots.txt, a operator nie publikuje dokumentacji ani zakresów adresów IP. Plik robots.txt nie działa wobec robota, który go nie czyta, więc wpis poniżej jest tylko deklaracją. eqinox.pl blokuje w robots.txt tylko tego robota.
User-agent: Bytespider
Disallow: /Źródło: ppc.land: Bytespider (źródło branżowe; operator nie publikuje dokumentacji)
CCBot
CCBot to robot Common Crawl, organizacji, która buduje otwarte archiwum sieci.
Z archiwum korzystają badacze i twórcy zbiorów treningowych wielu modeli językowych. Common Crawl opisuje blokadę przez robots.txt, prowadzi rejestr sprzeciwów i publikuje zakresy adresów IP.
User-agent: CCBot
Disallow: /Źródło: Common Crawl: CCBot
ChatGPT-User
ChatGPT-User to agent OpenAI, który pobiera stronę wtedy, gdy prosi o to użytkownik ChatGPT albo GPT Actions.
Nie decyduje o widoczności strony w wyszukiwaniu ChatGPT; za to odpowiada OAI-SearchBot. OpenAI pisze, że wobec tego agenta „robots.txt rules may not apply”, więc wpis w robots.txt może nie zadziałać.
Claude-SearchBot
Claude-SearchBot to robot Anthropic, który buduje indeks wyszukiwania w Claude.
Przestrzega robots.txt. Trenowanie modeli obsługuje osobny robot ClaudeBot, a pobieranie na prośbę użytkownika agent Claude-User.
User-agent: Claude-SearchBot
Disallow:Źródło: Anthropic: informacja o robotach
Claude-User
Claude-User to agent Anthropic, który pobiera stronę na prośbę użytkownika Claude.
Anthropic deklaruje, że wszystkie jego roboty przestrzegają robots.txt, także ten.
User-agent: Claude-User
Disallow: /Źródło: Anthropic: informacja o robotach
ClaudeBot
ClaudeBot to robot Anthropic, który zbiera treści do trenowania modeli.
Przestrzega robots.txt i obsługuje pole Crawl-delay. Wyszukiwanie w Claude obsługuje osobny robot, Claude-SearchBot.
User-agent: ClaudeBot
Disallow: /Źródło: Anthropic: informacja o robotach
Disallow
Disallow to reguła w pliku robots.txt, która zabrania robotowi pobierania wskazanej ścieżki.
Pusty Disallow nie zabrania niczego. Disallow nie zabezpiecza treści: ścieżki w pliku są publiczne. Nie usuwa też adresu z indeksu; zablokowana strona może się w nim znaleźć bez treści, jeśli prowadzą do niej linki. Do wykluczenia z indeksu służy noindex, a robot musi móc stronę pobrać, żeby go zobaczyć.
User-agent: *
Disallow: /prywatne/Źródło: RFC 9309, IETF; Google: interpretacja specyfikacji robots.txt
DuckDuckBot
DuckDuckBot to robot wyszukiwarki DuckDuckGo.
DuckDuckGo deklaruje przestrzeganie robots.txt. Odpowiedzi AI z cytowaniem źródeł obsługuje osobny robot DuckAssistBot; według DuckDuckGo nie służy on do trenowania modeli, a zmianę w robots.txt uwzględnia po 72 godzinach.
User-agent: DuckDuckBot
Disallow:Źródło: DuckDuckGo: DuckDuckBot
GEO
GEO (Generative Engine Optimization) to przygotowanie treści tak, żeby systemy generujące odpowiedzi, takie jak AI Overviews, ChatGPT, Copilot czy Perplexity, cytowały stronę.
Termin pochodzi z pracy naukowej z 2023 r. Bing ma w swoich wytycznych sekcję o GEO, a Google mówi, że to w praktyce SEO. To raczej rozszerzenie SEO niż osobna dziedzina.
Pierwszy krok GEO: sprawdź, czy roboty wyszukiwarek AI mają dostęp do Twojej strony.
Google-Extended
Google-Extended to token Google, którym właściciel strony decyduje, czy jej treść może służyć do trenowania przyszłych modeli Gemini i do ich ugruntowania (grounding).
To sam token, bez własnego robota. Według Google nie wpływa na obecność strony w wyszukiwarce i nie jest czynnikiem rankingowym. AI Overviews i AI Mode korzystają z indeksu Googlebota, nie z tego tokenu.
User-agent: Google-Extended
Disallow: /Źródło: Google: popularne roboty Google
Googlebot
Googlebot to robot wyszukiwarki Google.
Pobiera strony do wyszukiwarki, Discover, Grafiki, Wideo i Wiadomości. Według Google zawsze przestrzega robots.txt przy automatycznym pobieraniu. Z jego indeksu korzystają też AI Overviews i AI Mode. Google nie obsługuje pola Crawl-delay.
User-agent: Googlebot
Disallow:Źródło: Google: popularne roboty Google; Google: interpretacja specyfikacji robots.txt
GPTBot
GPTBot to robot OpenAI, który zbiera treści do trenowania modeli.
Przestrzega robots.txt. To inny token niż OAI-SearchBot, który odpowiada za wyszukiwanie w ChatGPT, więc oba ustawia się osobno.
User-agent: GPTBot
Disallow: /IndexNow
IndexNow to protokół, którym strona od razu zgłasza wyszukiwarkom zmienione adresy.
Uczestniczą w nim Bing, Naver, Seznam.cz, Yandex i Yep. Google w nim nie uczestniczy.
Źródło: IndexNow
Zanim zgłosisz adresy, sprawdź, czy robots.txt wpuszcza roboty wyszukiwarek.
llms.txt
llms.txt to proponowany przez społeczność (2024) plik w katalogu głównym strony, który opisuje jej treść dla modeli językowych.
To nie jest standard. Według raportu, na którym oparto ten słownik, Google mówi, że taki plik „will neither harm nor help”, a dokumentacja robotów OpenAI i Anthropic nie wspomina o jego używaniu. eqinox.pl ma własny plik llms.txt.
Plik robots.txt ma większe znaczenie niż llms.txt; sprawdź, czy Twój wpuszcza roboty AI.
meta-externalagent
meta-externalagent to robot Meta, który zbiera treści do trenowania modeli AI i do indeksowania na potrzeby produktów Meta.
Przestrzega robots.txt. Podgląd linków w Facebooku, Instagramie i Messengerze obsługuje inny robot, facebookexternalhit.
User-agent: meta-externalagent
Disallow: /Źródło: Meta: Meta Web Crawlers
meta-externalfetcher
meta-externalfetcher to agent Meta, który pobiera strony na prośbę użytkownika i do zadań agentowych.
Meta pisze, że może on pomijać reguły robots.txt („may bypass robots.txt rules”), więc wpis w pliku może nie zadziałać.
Źródło: Meta: Meta Web Crawlers
MistralAI-User
MistralAI-User to agent Mistral AI, który pobiera strony na prośbę użytkownika asystenta Mistral.
Według Mistral nie służy do trenowania. Dokumentacja nie mówi, czy przestrzega robots.txt. Trenowanie obsługuje osobny robot MistralAI-Training, który można zablokować w robots.txt.
Źródło: Mistral AI: Robots
Sprawdź, jak Twój plik robots.txt traktuje roboty Mistral AI.
noindex i X-Robots-Tag
noindex to dyrektywa, która wyklucza stronę z indeksu wyszukiwarki; podaje się ją w metatagu robots albo w nagłówku HTTP X-Robots-Tag.
Disallow w robots.txt nie usuwa adresu z indeksu. Żeby zobaczyć noindex, robot musi móc stronę pobrać, więc strony z noindex nie blokuje się jednocześnie w robots.txt.
Źródło: Google: interpretacja specyfikacji robots.txt
Sprawdź, czy robots.txt nie blokuje stron, które mają noindex.
OAI-SearchBot
OAI-SearchBot to robot OpenAI, który odpowiada za wyszukiwanie w ChatGPT.
Przestrzega robots.txt. Zablokowana strona nie pojawia się w odpowiedziach ChatGPT, najwyżej jako link nawigacyjny. Zmiana w pliku działa po około 24 godzinach.
User-agent: OAI-SearchBot
Disallow:Perplexity-User
Perplexity-User to agent Perplexity, który pobiera stronę na prośbę użytkownika.
Perplexity pisze, że ten agent „generally ignores robots.txt rules”. Indeks wyszukiwarki buduje osobny robot PerplexityBot.
Źródło: Perplexity: Perplexity Crawlers
Sprawdź, jak Twój plik robots.txt traktuje roboty Perplexity.
PerplexityBot
PerplexityBot to robot Perplexity, który buduje indeks wyszukiwarki Perplexity.
Według Perplexity nie służy do trenowania i przestrzega robots.txt. Jest spór: Cloudflare opisał 4.08.2025, że po zablokowaniu zadeklarowanych robotów Perplexity pobierał treści niezadeklarowanym robotem. Perplexity odpowiadało, że jego roboty przestrzegają zasad.
User-agent: PerplexityBot
Disallow:Źródło: Perplexity: Perplexity Crawlers
RFC 9309
RFC 9309 „Robots Exclusion Protocol” to standard IETF z września 2022 r., który opisuje plik robots.txt.
Formalizuje zasady stosowane od 1994 r. Wymaga, żeby plik był pod adresem /robots.txt i w kodowaniu UTF-8. Robot ma przetworzyć co najmniej 500 KiB pliku i nie powinien używać kopii starszej niż 24 godziny. Kodeks postępowania dla modeli AI ogólnego przeznaczenia w UE odwołuje się wprost do tego standardu.
Źródło: RFC 9309, IETF
robots.txt
robots.txt to plik tekstowy w katalogu głównym strony, w którym właściciel zapisuje, które ścieżki mogą pobierać roboty.
Obowiązuje tylko dla hosta, protokołu i portu, pod którymi leży. To prośba, nie zabezpieczenie, i nie działa wobec robotów, które go nie czytają. Gdy serwer zwraca dla pliku kod 4xx, robot może pobierać wszystko; przy błędzie 5xx ma przyjąć pełny zakaz.
User-agent: *
Disallow:
Sitemap: https://twojastrona.pl/sitemap.xmlŹródło: RFC 9309, IETF; Google: interpretacja specyfikacji robots.txt
SeznamBot
SeznamBot to robot czeskiej wyszukiwarki Seznam.cz.
Przestrzega robots.txt, z obsługą reguły Allow. Świeże treści pobiera też FreshBot. Seznam uwzględnia zmianę pliku po kilku dniach do kilku tygodni i uczestniczy w IndexNow.
User-agent: SeznamBot
Disallow:Źródło: Seznam: SeznamBot crawler
Sitemap (dyrektywa w robots.txt)
Sitemap to pole w pliku robots.txt, które podaje adres mapy witryny.
Stoi poza grupami reguł, wymaga adresu bezwzględnego i może wystąpić kilka razy. Nie jest częścią RFC 9309, ale obsługują je Google i Bing. Mapę dla innego hosta zgłasza się wpisem Sitemap w robots.txt tamtego hosta.
User-agent: *
Disallow:
Sitemap: https://twojastrona.pl/sitemap.xmlŹródło: Google: interpretacja specyfikacji robots.txt; sitemaps.org: Sitemaps XML format
sitemap.xml
sitemap.xml to plik XML z listą adresów strony, który pomaga wyszukiwarkom je znaleźć.
Format opisuje protokół sitemaps.org: każdy adres w elemencie loc, opcjonalnie lastmod. Jeden plik mieści do 50 000 adresów i 50 MB bez kompresji. Google i Bing ignorują changefreq i priority. Data lastmod ma oznaczać rzeczywistą zmianę treści; Bing nazywa ją „key signal”.
Źródło: sitemaps.org: Sitemaps XML format; Bing Webmaster Blog, 31.07.2025
User-agent
User-agent to pole w pliku robots.txt, które wskazuje token robota, którego dotyczy grupa reguł.
Wielkość liter w tokenie nie ma znaczenia. Kilka linii User-agent pod rząd tworzy jedną grupę. Robot stosuje tylko jedną grupę: swoją, a gdy jej nie ma, grupę *. Robot wymieniony z nazwy nie widzi reguł grupy *. W przykładzie GPTBot może pobierać /prywatne/.
User-agent: *
Disallow: /prywatne/
User-agent: GPTBot
Disallow:Źródło: RFC 9309, IETF; Google: interpretacja specyfikacji robots.txt
Zastrzeżenie TDM
Zastrzeżenie TDM to sprzeciw właściciela treści wobec jej eksploracji (text and data mining), w tym przez systemy AI.
Art. 4 dyrektywy (UE) 2019/790 pozwala na eksplorację tekstów i danych, także komercyjnie, chyba że uprawniony wyraźnie ją zastrzegł, na przykład środkami do odczytu maszynowego. W Polsce art. 26³ ustawy o prawie autorskim wymaga, żeby zastrzeżenie dla treści w internecie było w formacie do odczytu maszynowego, wraz z metadanymi. Kodeks postępowania do AI Act wymaga od dostawców modeli robotów, które przestrzegają robots.txt według RFC 9309. Zakaz dla robota trenującego w robots.txt jest więc dziś w praktyce podstawowym sposobem zastrzeżenia. To nie jest porada prawna.
User-agent: GPTBot
Disallow: /Źródło: Dyrektywa (UE) 2019/790, EUR-Lex; Art. 26³ ustawy o prawie autorskim i prawach pokrewnych
Sprawdź, czy Twój plik zawiera zastrzeżenie wobec robotów trenujących.