Pustiť AI botov na web, alebo nie? Rozhodnutie, ktoré si treba spraviť vedome
Existuje jeden súbor, ktorý dnes rozhoduje o vašej viditeľnosti v AI odpovediach skôr, než napíšete jediné slovo obsahu. Je to robots.txt. A väčšina firiem v ňom má nastavenie, ktoré nikdy vedome neurobila.
Keď sa pozerám na firmu cez optiku AI vyhľadávania, jedna z prvých vecí, ktoré otvorím, je robots.txt. Nie obsah, nie kľúčové slová - obyčajný textový súbor v koreni webu. Lebo práve tam sa rozhoduje, či vás AI crawlery vôbec smú prečítať. A prekvapivo často tam nájdem rozhodnutie, ktoré firma nikdy vedome neurobila.
O akých botoch je reč
AI nástroje nečítajú web cez Googlebota. Majú vlastné roboty a každý z nich viete v robots.txt pustiť alebo zablokovať:
- GPTBot a OAI-SearchBot - OpenAI, teda ChatGPT.
- ClaudeBot - Anthropic, teda Claude.
- PerplexityBot - vyhľadávač Perplexity.
- Google-Extended - prepínač, ktorým Google oddeľuje použitie obsahu pre Gemini od bežného indexovania v Search.
Prečo to väčšina firiem nemá rozhodnuté
Blokovanie AI botov sa na weby dostáva potichu - cez univerzálnu šablónu robots.txt, bezpečnostný plugin alebo radu "ochráň si obsah pred AI", ktorá kolovala internetom. Výsledok: web, ktorý chce byť v AI odpovediach, ale zároveň botov blokuje a ani o tom nevie. Strieľa si do vlastnej nohy a netuší to.
Spravte si test za minútu: otvorte si vasadomena.sk/robots.txt a hľadajte riadky Disallow pri GPTBot, ClaudeBot alebo PerplexityBot. Ak tam sú a chcete byť v AI odpovediach, treba ich odblokovať. Ak tam nie sú, máte otvorené - čo je vo väčšine prípadov to, čo chcete.
Kedy má blokovanie zmysel
Nie je to čierno-biele. Sú dobré dôvody botov nepustiť: prémiový alebo platený obsah, ktorý nechcete dať zadarmo do tréningu modelov, citlivé dáta, alebo principiálny postoj k tomu, ako sa s vaším obsahom zaobchádza. To je legitímne rozhodnutie. Dôležité je, aby bolo vedomé - aby ste vedeli, čím za to platíte: miznete z AI citácií.
A keď ich pustím, čo ďalej
Pustiť botov dnu je nutná podmienka, nie postačujúca. Keď web vidia, treba im uľahčiť prácu: písať obsah ako jasnú odpoveď, doplniť štruktúrované dáta, pridať llms.txt a budovať dôveryhodnosť cez reálneho autora. Ale v tomto poradí. Sprístupnenie ide prvé, lebo bez neho je všetko ostatné neviditeľné. Je to nudná infraštruktúra, ktorú väčšina firiem preskočí - a presne preto má náskok ten, kto si ju vedome spraví.
Časté otázky
Ako zistím, či blokujem AI botov?
Otvorte si vasadomena.sk/robots.txt a hľadajte riadky Disallow pri GPTBot, ClaudeBot, PerplexityBot alebo Google-Extended. Ak tam sú, daných botov blokujete.
Mám AI botov pustiť, alebo zablokovať?
Ak chcete byť v AI odpovediach, pustite ich. Blokovanie dáva zmysel len pri prémiovom či citlivom obsahu, ktorý vedome nechcete dať modelom - vtedy ale prijímate, že miznete z AI citácií.
Stačí pustiť botov dnu, aby ma AI citovala?
Nie, je to len nutná podmienka. Keď web vidia, rozhoduje kvalita a štruktúra obsahu, štruktúrované dáta a dôveryhodnosť. Sprístupnenie je prvý krok, nie celá práca.
Sedí vám to na vlastnú firmu?
Pošlite mi web alebo jednu vetu, kde sa to zaseklo. Pozriem sa prakticky - nie cez zoznam služieb, ale cez otázku, čo riešiť ako prvé.