Ktorým AI crawlerom povoliť prístup na web

V robots.txt uvádzate pravidlá, ktoré majú crawlery pri návšteve webu rešpektovať. Pri AI službách však treba rozlišovať vyhľadávacie a tréningové user-agenty, pretože nemajú rovnaký účel.

Firma môže chcieť, aby sa jej obsah používal vo vyhľadávaní AI, a zároveň nechcieť povoliť zber pre tréning. Preto AI crawlery neposudzujte ako jednu skupinu. V robots.txt zapíšte rozhodnutie pre konkrétny účel.

Vyhľadávacie a tréningové AI crawlery

AI služby používajú rôzne crawlery a zdroje. Pravidlá v robots.txt preto kontrolujte osobitne pre jednotlivé user-agenty:

GPTBot - OpenAI ho používa na zber obsahu pre možné zlepšovanie modelov.
OAI-SearchBot - OpenAI ho používa na vyhľadávanie a zobrazovanie zdrojov v ChatGPT.
ClaudeBot - Anthropic ho používa na zber obsahu, ktorý môže slúžiť na tréning modelov. Claude-SearchBot slúži vyhľadávaniu a Claude-User načítava obsah na žiadosť používateľa. Tieto user-agenty posudzujte samostatne podľa dokumentácie Anthropicu.
PerplexityBot - slúži na vyhľadávanie a odkazovanie webov v Perplexity. Prevádzkovateľ ho odlišuje od zberu na tréning základných modelov; pozrite dokumentáciu crawlerov Perplexity (8. 10. 2026).
Google-Extended - riadi použitie obsahu na trénovanie budúcich modelov Gemini a poskytovanie podkladov z indexu Googlu pri odpovedaní v Gemini Apps a Vertex AI. Prístup pre Google Search vrátane AI Overviews a AI Mode sa riadi pravidlami pre Googlebot. Rozdiel vysvetľuje dokumentácia Google-Extended.

Modelové nastavenie pre vyhľadávanie bez tréningu

Nasledujúci príklad rieši iba dvojicu crawlerov OpenAI. OAI-SearchBot má prístup okrem priečinka /neverejne/, GPTBot je blokovaný. Pre ostatné crawlery zostáva všeobecné pravidlo. Názov priečinka je modelový.

User-agent: OAI-SearchBot
Disallow: /neverejne/

User-agent: GPTBot
Disallow: /

User-agent: *
Disallow: /neverejne/

Prázdne Disallow: by neobmedzovalo žiadnu cestu v danej skupine. Disallow: / zakazuje celý web. Význam účelov a samostatné nastavenie opisuje dokumentácia crawlerov OpenAI.

Prečo nestačí dopísať iba meno crawlera

Modelová chyba vznikne, ak web obsahuje všeobecný zákaz priečinka a potom osobitnú skupinu, ktorá tento zákaz nezopakuje:

User-agent: *
Disallow: /neverejne/

User-agent: OAI-SearchBot
Disallow:

Táto osobitná skupina žiadnu cestu nezakazuje. Pri kontrole sa nespoliehajte na to, že sa pravidlá s hviezdičkou automaticky pripočítajú. Dokumentácia interpretácie robots.txt vysvetľuje výber skupiny; pri ďalšej službe overte aj jej vlastné pravidlá. Pôvodný súbor si pred úpravou uložte a zachovajte existujúce obmedzenia.

Kedy zvážiť blokovanie tréningového crawlera

Použitie obsahu na trénovanie modelov posudzujte oddelene od vyhľadávania. Robots.txt však nezabezpečuje platený ani citlivý obsah; ten chráňte prístupovými oprávneniami.

Po zmene treba overiť aj odpoveď servera a prípadné blokovanie na CDN. Tomu sa venuje návod na overenie prístupu crawlerov. Robots.txt sám nie je ochrana heslom ani záruka citácie.

Dokumentácia rolí crawlerov OpenAI, Anthropicu, Googlu a Perplexity skontrolovaná 8. 10. 2026. Tento dátum sa týka dokumentácie, nie testu prístupu na konkrétny web.

Časté otázky

Ako zistím, či blokujem AI botov?

Otvorte si vasadomena.sk/robots.txt a skontrolujte pravidlá Disallow pre konkrétne user-agenty. OAI-SearchBot a GPTBot posudzujte oddelene, pretože nemajú rovnakú úlohu.

Mám AI botov pustiť, alebo zablokovať?

Nastavte ich podľa cieľa. Vyhľadávací crawler povoľte, ak chcete byť dohľadateľní v danej službe. Tréningový crawler môžete posudzovať samostatne podľa pravidiel práce s obsahom.

Stačí pustiť botov dnu, aby ma AI citovala?

Nie. Povolenie crawlera samo nezaručuje použitie stránky v odpovedi. Treba preveriť aj indexáciu a relevantnosť obsahu pre konkrétnu otázku; pravidlá sa líšia podľa služby.