Pustiť AI botov na web, alebo nie? Rozhodnutie, ktoré si treba spraviť vedome
Robots.txt určuje, ktoré crawlery môžu prečítať váš web. Pri AI službách však treba rozlišovať vyhľadávacie a tréningové user-agenty, pretože nemajú rovnaký účel.
Keď sa pozerám na firmu cez optiku AI vyhľadávania, jedna z prvých vecí, ktoré otvorím, je robots.txt. Nie obsah, nie kľúčové slová - obyčajný textový súbor v koreni webu. Lebo práve tam sa rozhoduje, či vás AI crawlery vôbec smú prečítať. A prekvapivo často tam nájdem rozhodnutie, ktoré firma nikdy vedome neurobila.
O akých botoch je reč
AI nástroje nečítajú web cez Googlebota. Majú vlastné roboty a každý z nich viete v robots.txt pustiť alebo zablokovať:
- GPTBot - OpenAI ho používa na zber obsahu pre možné zlepšovanie modelov.
- OAI-SearchBot - OpenAI ho používa na vyhľadávanie a zobrazovanie zdrojov v ChatGPT.
- ClaudeBot - Anthropic, teda Claude.
- PerplexityBot - vyhľadávač Perplexity.
- Google-Extended - prepínač, ktorým Google oddeľuje použitie obsahu pre Gemini od bežného indexovania v Search.
Prečo to väčšina firiem nemá rozhodnuté
Blokovanie AI botov sa na weby dostáva potichu - cez univerzálnu šablónu robots.txt, bezpečnostný plugin alebo radu "ochráň si obsah pred AI", ktorá kolovala internetom. Výsledok: web, ktorý chce byť v AI odpovediach, ale zároveň botov blokuje a ani o tom nevie. Strieľa si do vlastnej nohy a netuší to.
Spravte si test za minútu: otvorte si vasadomena.sk/robots.txt a skontrolujte pravidlá pre jednotlivé user-agenty. Ak chcete byť vo vyhľadávaní ChatGPT, podstatný je OAI-SearchBot. GPTBot posudzujte oddelene, pretože súvisí s možným použitím obsahu na zlepšovanie modelov.
Kedy má blokovanie zmysel
Nie je to čierno-biele. Sú dobré dôvody nepovoliť tréningový crawler: prémiový obsah alebo vedomé rozhodnutie neposkytovať text na zlepšovanie modelov. Vyhľadávací crawler má inú úlohu. Preto netreba povoľovať alebo blokovať všetko jedným pravidlom.
A keď ich pustím, čo ďalej
Prístup crawlera je iba technický predpoklad. O tom, či sa stránka zobrazí ako zdroj, rozhoduje aj indexácia, relevantnosť, presnosť a dôveryhodnosť obsahu. Google pre svoje AI funkcie odporúča rovnaké SEO základy ako pre klasické vyhľadávanie a nevyžaduje osobitný AI súbor.
Časté otázky
Ako zistím, či blokujem AI botov?
Otvorte si vasadomena.sk/robots.txt a skontrolujte pravidlá Disallow pre konkrétne user-agenty. OAI-SearchBot a GPTBot posudzujte oddelene, pretože nemajú rovnakú úlohu.
Mám AI botov pustiť, alebo zablokovať?
Nastavte ich podľa cieľa. Vyhľadávací crawler povoľte, ak chcete byť dohľadateľní v danej službe. Tréningový crawler môžete posudzovať samostatne podľa pravidiel práce s obsahom.
Stačí pustiť botov dnu, aby ma AI citovala?
Nie, je to len nutná podmienka. Keď web vidia, rozhoduje kvalita a štruktúra obsahu, štruktúrované dáta a dôveryhodnosť. Sprístupnenie je prvý krok, nie celá práca.
Čítať o výkone je jedno. Vidieť ten svoj je druhé.
V audite nájdem, kde sa vám dnes stráca výkon v SEO, PPC a AI vyhľadávaní - a čo z toho opraviť ako prvé. Krátky dokument s prioritami podľa páky, nie elaborát do šuflíka.